Nya metoder för att lära vektorrymd representationer av ord har lyckats fånga finkorniga semantiska och syntaktiska regulariteter med vektor aritmetiska, men ursprunget för dessa regulariteter har förblivit ogenomskinlig. Vi analyserar och gör explicit de modellegenskaper som behövs för att sådana regulariteter ska framträda i ordvektorer. Resultatet är en ny global logbilinear regressionsmodell som kombinerar fördelarna med de två stora modellfamiljerna i litteraturen: global matrisfaktorisering och lokala kontextfönstermetoder. Vår modell utnyttjar effektivt statistisk information genom att endast träna på icke-nollelement i en ord-kooccurrence-matris, snarare än på hela den glesa matrisen eller på enskilda sammanhangsfönster i en stor corpus. Modellen producerar ett vektorutrymme med meningsfull substruktur, vilket framgår av dess prestanda på 75% på ett nyligen taget ord analog uppgift. Det överträffar också relaterade modeller om likhetsuppgifter och namngivna enhetsigenkänning.
Modellen uppnår bättre resultat än Word2Vec, åtminstone för ordet analogi, ordlikhet och namngivna enhetsigenkänningsuppgifter som presenteras i dokumentet REF.
Glove: Global Vectors for Word Representation
{'venue': 'EMNLP', 'journal': None, 'mag_field_of_study': ['Computer Science']}