Nya metoder för att lära vektorrymd representationer av ord har lyckats fånga finkorniga semantiska och syntaktiska regulariteter med vektor aritmetiska, men ursprunget för dessa regulariteter har förblivit ogenomskinlig. Vi analyserar och gör explicit de modellegenskaper som behövs för att sådana regulariteter ska framträda i ordvektorer. Resultatet är en ny global logbilinear regressionsmodell som kombinerar fördelarna med de två stora modellfamiljerna i litteraturen: global matrisfaktorisering och lokala kontextfönstermetoder. Vår modell utnyttjar effektivt statistisk information genom att endast träna på icke-nollelement i en ord-kooccurrence-matris, snarare än på hela den glesa matrisen eller på enskilda sammanhangsfönster i en stor corpus. Modellen producerar ett vektorutrymme med meningsfull substruktur, vilket framgår av dess prestanda på 75% på ett nyligen taget ord analog uppgift. Det överträffar också relaterade modeller om likhetsuppgifter och namngivna enhetsigenkänning.
Detta beslut träder i kraft dagen efter det att det har offentliggjorts i Europeiska unionens officiella tidning. I 2014 REF utvecklat en lärande vektor utrymme representation av de ord som kallas Glove och distribuerat det i Stanford NLP lab.
Glove: Global Vectors for Word Representation
{'venue': 'EMNLP', 'journal': None, 'mag_field_of_study': ['Computer Science']}