Vi föreslår två förbättringar av den lexikala föreningen som används för att inbädda lärande: faktorisera individuella beroenderelationer och använda lexikografiska kunskaper från enspråkiga ordböcker. Båda förslagen ger lågentropi lexikal kooccurrence information, och är empiriskt visat att förbättra inbäddning lärande genom att framför allt bättre än flera populära inbäddning modeller i likhet uppgifter. Lexiska inbäddningar är i huvudsak verkliga-värderade distribuerade representationer av ord. Som vektorrymdsmodell liknar en inbäddningsmodell semantisk överensstämmelse med Euclideans avstånd mellan inbäddningar, vilket bidrar till en bättre uppskattning av den verkliga lexikala fördelningen i olika NLP-uppgifter. Under de senaste åren har forskare utvecklat effektiva och effektiva algoritmer för lärande inbäddningar (Mikolov et al., 2013a; Pennington et al., 2014) och utökade modellapplikationer från språkmodellering till olika områden i NLP inklusive lexical semantics (Mikolov et al., 2013b) och tolkning (Bansal et al., 2014). För att approximera semantisk överensstämmelse med geometriska avstånd väljs ofta objektiva funktioner för att på ett positivt sätt korrelera med den euklideiska likheten mellan inbäddningar av relaterade ord. Att maximera en sådan objektiv funktion är då likvärdigt med att justera inbäddningarna så att de tillhörande orden blir geometriskt närmare varandra. Definitionen av sammanflätning mellan ord kan ha ett djupgående inflytande på kvaliteten på de resulterande inbäddade modellerna. I de flesta befintliga studier definieras relaterat genom samtidig förekomst inom en fönsterram som glider över texter. Även om den stöds av distributionshypotesen (Harris, 1954), lider denna definition av två stora begränsningar. För det första är fönsterramens storlek vanligtvis ganska liten (för effektivitets- och sparsamhetshänsyn), vilket ökar den falska negativa frekvensen genom att man missar beroenden på långa avstånd. För det andra, en fönsterram kan (och ofta gör) spänna över olika beståndsdelar i en mening, vilket resulterar i en ökad falsk positiv frekvens genom att associera orelaterade ord. Problemet förvärras när fönstrets storlek ökar eftersom varje falskt positivt n-gram visas i två subsumerande falskt positiva (n + 1)-gram. Flera befintliga studier har tagit upp dessa begränsningar i fönsterbaserade sammanhang. Icke desto mindre antar vi att lexiskt inbäddande lärande ytterligare kan dra nytta av (1) att faktorisera syntaktiska relationer till individuella relationer för strukturerad syntaktisk information och (2) definiera samhörighet med hjälp av lexikografisk kunskap. Vi kommer att visa att genomförandet av dessa idéer medför betydande förbättringar av lexikala likhetsuppgifter.
REF undersöker begreppet relaterat i inbäddade modeller genom att införliva syntaktisk och lexikografisk kunskap.
Learning Lexical Embeddings with Syntactic and Lexicographic Knowledge
{'venue': 'ACL', 'journal': None, 'mag_field_of_study': ['Computer Science']}