Den senaste litteraturen tyder på att det genomsnittliga ordet vektorer följt av enkel efterbehandling överträffar många djupa inlärningsmetoder på semantiska textliknande uppgifter. Dessutom, när genomsnittliga ordvektorer utbildas övervakas på stora korpora av parafraser, de uppnå state-of-the-art resultat på standard STS-riktmärken. Inspirerade av dessa insikter driver vi gränserna för ordet inbäddningar ännu längre. Vi föreslår en roman fuzzy bag-of-words (FBoW) representation för text som innehåller alla ord i ordförrådet samtidigt men med olika grader av medlemskap, som härrör från likheter mellan ordvektorer. Vi visar att max-poolade ord vektorer bara är ett specialfall av fuzzy BoW och bör jämföras via fuzzy Jaccard index snarare än cosinus likhet. Slutligen föreslår vi DynaMax, en helt oövervakad och icke-parametrisk likhet mäter att dynamiskt extraherar och max-pooler bra funktioner beroende på mening par. Denna metod är både effektiv och enkel att genomföra, men överträffar de nuvarande baslinjerna för STS-uppgifter med stor marginal och är även konkurrenskraftig med övervakade ordvektorer utbildade för att direkt optimera cosinuslikheten.
REF visar en nära koppling mellan FBoW och max-poolade ordvektorer.
Don't Settle for Average, Go for the Max: Fuzzy Sets and Max-Pooled Word Vectors
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Computer Science']}