Kontinuerliga rymdspråksmodeller har nyligen visat enastående resultat för en mängd olika uppgifter. I detta dokument undersöker vi de vektor-rymd-ord representationer som implicit lärs av ingång-lager vikter. Vi finner att dessa representationer är förvånansvärt bra på att fånga syntaktiska och semantiska regulariteter i språket, och att varje relation kännetecknas av en relation-specifik vektor offset. Detta gör det möjligt för vektororienterade resonemang baserade på förskjutningar mellan ord. Till exempel, den manliga / kvinnliga relationen lärs automatiskt, och med de inducerade vektor representationer, "KingMan + Kvinna" resulterar i en vektor mycket nära "Queen." Vi visar att ordet vektorer fångar syntaktiska regulariteter med hjälp av syntaktiska analoga frågor (förmedlad med detta papper), och kan korrekt besvara nästan 40% av frågorna. Vi visar att ordet vektorer fångar semantiska regulariteter genom att använda vektor offset-metoden för att svara på SemEval-2012 Task 2 frågor. Anmärkningsvärt nog överträffar denna metod de bästa tidigare systemen.
Observera också, REF föreslå en vektor offset metod för att fånga syntaktiska och semantiska regularities mellan ord representationer lärt av en återkommande neural nätverk språkmodell.
Linguistic Regularities in Continuous Space Word Representations
{'venue': 'NAACL', 'journal': None, 'mag_field_of_study': ['Computer Science']}