A l n e t t w o r K s kan fånga både semantisk och syntaktisk information av ord från en stor omärkt corpus 4 och har fått stor uppmärksamhet från många forskare. Under de senaste åren har flera modeller föreslagits, av vilka många har gett toppmoderna resultat i olika naturliga språkbearbetningsuppgifter (NLP). Även om dessa studier alltid hävdar att deras modeller är bättre än tidigare baserade på olika utvärderingskriterier, mycket lite forskning jämför befintliga ordbäddningsmetoder. Denna artikel fokuserar på denna fråga och presenterar en detaljerad analys av flera viktiga funktioner för utbildning ord inbäddningar via en experimentell granskning, inklusive modellkonstruktion, utbildning corpus, och parameter design. Såvitt vi vet har ingen sådan studie utförts tidigare (se sidofältet "Relaterat arbete i Word Inbäddning Jämförelse"). För att utforma en effektiv ord-bäddningsmetod måste vi först klargöra modellkonstruktionen. Nästan alla metoder för att träna in ord är baserade på samma fördelningshypotes: ord som förekommer i liknande sammanhang tenderar att ha liknande betydelser. 5, 6 Med tanke på denna hypotes modellerar olika metoder förhållandet mellan ett målord w och dess sammanhang c i en corpus på olika sätt, där w och c är inbäddade i vektorer. I allmänhet varierar de befintliga metoderna i två huvudaspekter inom modellkonstruktionen: förhållandet mellan målordet och dess sammanhang och sammanhangets representation. Tabell 1 visar en kort jämförelse mellan vanliga modeller. När det gäller förhållandet mellan målordet och dess sammanhang är de fem första modellerna identiska. De använder ett objekt som liknar den villkorliga sannolikheten P(w)c), som förutsäger målordet w baserat på dess sammanhang c. Ronan Collobert och Jason Weston (C&W) 2 använder ett objekt som liknar gemensam sannolikhet, där (w, c) par i corpus tränas för att få högre poäng. Med avseende på
Utbildning element som modellen, corpus, och parametrarna har analyserats i detalj i REF.
How to Generate a Good Word Embedding
{'venue': 'IEEE Intelligent Systems', 'journal': 'IEEE Intelligent Systems', 'mag_field_of_study': ['Computer Science']}