Nya metoder för att lära vektorrymd representationer av ord har lyckats fånga finkorniga semantiska och syntaktiska regulariteter med vektor aritmetiska, men ursprunget för dessa regulariteter har förblivit ogenomskinlig. Vi analyserar och gör explicit de modellegenskaper som behövs för att sådana regulariteter ska framträda i ordvektorer. Resultatet är en ny global logbilinear regressionsmodell som kombinerar fördelarna med de två stora modellfamiljerna i litteraturen: global matrisfaktorisering och lokala kontextfönstermetoder. Vår modell utnyttjar effektivt statistisk information genom att endast träna på icke-nollelement i en ord-kooccurrence-matris, snarare än på hela den glesa matrisen eller på enskilda sammanhangsfönster i en stor corpus. Modellen producerar ett vektorutrymme med meningsfull substruktur, vilket framgår av dess prestanda på 75% på ett nyligen taget ord analog uppgift. Det överträffar också relaterade modeller om likhetsuppgifter och namngivna enhetsigenkänning.
REF introducerade GloVe som kombinerar global matris factorization och lokala sammanhangsfönster tillsammans.
Glove: Global Vectors for Word Representation
{'venue': 'EMNLP', 'journal': None, 'mag_field_of_study': ['Computer Science']}