Det finns ett ökande intresse för vektor-rymd ord inbäddningar och deras användning i NLP, särskilt med tanke på de senaste metoderna för deras snabba uppskattning i mycket stor skala. Nästan allt detta arbete, dock antar en enda vektor per ord typ-ignoring polysemy och därmed äventyra deras användbarhet för nedströms uppgifter. Vi presenterar en förlängning till Skip-gram-modellen som effektivt lär sig flera inbäddningar per ordtyp. Det skiljer sig från det senaste relaterade arbetet genom att gemensamt utföra diskriminering av ordförnimmelser och inbädda lärande, genom att icke-parametriskt uppskatta antalet sinnen per ordtyp, och genom dess effektivitet och skalbarhet. Vi presenterar nya state-of-the-art resultat i ordet likhet i sammanhang uppgift och visar sin skalbarhet genom att träna med en maskin på en corpus på nästan 1 miljard polletter på mindre än 6 timmar.
I REF föreslogs en förlängning av Skip-gram-modellen i kombination med sammanhangskluster för att uppskatta antalet sinnen för varje ord samt lära sig att inbädda vektorer.
Efficient Non-parametric Estimation of Multiple Embeddings per Word in Vector Space
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Computer Science', 'Mathematics']}