Kontinuerliga rymdspråksmodeller har nyligen visat enastående resultat för en mängd olika uppgifter. I detta dokument undersöker vi de vektor-rymd-ord representationer som implicit lärs av ingång-lager vikter. Vi finner att dessa representationer är förvånansvärt bra på att fånga syntaktiska och semantiska regulariteter i språket, och att varje relation kännetecknas av en relation-specifik vektor offset. Detta gör det möjligt för vektororienterade resonemang baserade på förskjutningar mellan ord. Till exempel, den manliga / kvinnliga relationen lärs automatiskt, och med de inducerade vektor representationer, "KingMan + Kvinna" resulterar i en vektor mycket nära "Queen." Vi visar att ordet vektorer fångar syntaktiska regulariteter med hjälp av syntaktiska analoga frågor (förmedlad med detta papper), och kan korrekt besvara nästan 40% av frågorna. Vi visar att ordet vektorer fångar semantiska regulariteter genom att använda vektor offset-metoden för att svara på SemEval-2012 Task 2 frågor. Anmärkningsvärt nog överträffar denna metod de bästa tidigare systemen.
Mikolov m.fl. REF undersökte vektorutrymme ord representationer med en kontinuerlig rymd språkmodell.
Linguistic Regularities in Continuous Space Word Representations
{'venue': 'NAACL', 'journal': None, 'mag_field_of_study': ['Computer Science']}