Distribuerade ord representationer har använts i stor utsträckning och visat sig vara användbara i en hel del naturliga språk bearbetning och text gruvdrift uppgifter. De flesta befintliga modeller för inbäddning av ord syftar till att generera endast en inbäddningsvektor för varje enskilt ord, vilket dock begränsar deras effektivitet eftersom enorma mängder ord är polysemösa (såsom bank och stjärna). För att ta itu med detta problem är det nödvändigt att bygga flera inbäddningsvektorer för att representera olika betydelser av ett ord respektive. Några nyligen genomförda studier försökte träna flerprototyp ord inbäddningar genom kluster sammanhangsfönster funktioner i ordet. På grund av ett stort antal parametrar för att träna ger dessa metoder dock begränsad skalbarhet och är ineffektiva för att utbildas med big data. I det här dokumentet introducerar vi en mycket effektivare metod för att lära sig flera inbäddningsvektorer för polysemösa ord. I synnerhet föreslår vi först att modellera ordet polysemy ur ett probabilistiskt perspektiv och integrera det med den mycket effektiva kontinuerliga Skip-Gram-modellen. Inom detta ramverk, vi utforma en Förväntning-Maximering algoritm för att lära sig ordets multi inbäddande vektorer. Med mycket mindre parametrar att träna, kan vår modell uppnå jämförbara eller ännu bättre resultat på ord-similaty uppgifter jämfört med konventionella metoder.
REF modellerade ordet polysemy ur ett probabilistiskt perspektiv och integrerar det med den mycket effektiva kontinuerliga Skip-Gram-modellen.
A Probabilistic Model for Learning Multi-Prototype Word Embeddings
{'venue': 'COLING', 'journal': None, 'mag_field_of_study': ['Computer Science']}