Distribuerade avbildningar av ord har visat sig fånga lexical semantics, vilket visas av deras effektivitet i ordlikhet och analogical relation uppgifter. Men, dessa uppgifter endast utvärdera lexical semantics indirekt. I detta dokument studerar vi om det är möjligt att använda distribuerade representationer för att generera ordordsdefinitioner, som en mer direkt och transparent representation av inbäddningarnas semantik. Vi inför definitionsmodellering, uppgiften att skapa en definition för ett givet ord och dess inbäddning. Vi presenterar flera definitionsmodellarkitekturer baserade på återkommande neurala nätverk, och experimenterar med modellerna över flera datamängder. Våra resultat visar att en modell som kontrollerar beroenden mellan det ord som definieras och definitionsorden presterar betydligt bättre, och att ett konvolutionsskikt på teckennivå som är utformat för att utnyttja morfologin kan komplettera inbäddningar på ordnivå. Slutligen tyder en felanalys på att felen i en definitionsmodell kan ge insikt i bristerna i ordinslag.
Nyligen införde REF en uppgift att skapa en definitions mening med ett ord från dess förträngda inbäddning.
Definition Modeling: Learning to define word embeddings in natural language
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Computer Science']}