Obesudlade ord representationer är mycket användbara i NLP uppgifter både som ingångar till lärande algoritmer och som extra ordfunktioner i NLP-system. De flesta av dessa modeller är dock uppbyggda med endast lokal kontext och en representation per ord. Detta är problematiskt eftersom ord ofta är polysemösa och globala sammanhang också kan ge användbar information för att lära ord betydelser. Vi presenterar en ny neural nätverk arkitektur som 1) lär sig ord inbäddningar som bättre fånga semantik av ord genom att införliva både lokala och globala dokument sammanhang, och 2) står för homonymi och polysemi genom att lära sig flera inbäddningar per ord. Vi introducerar en ny datauppsättning med mänskliga bedömningar av parord i ett tydligt sammanhang, och utvärderar vår modell på den, vilket visar att vår modell överträffar konkurrenskraftiga baslinjer och andra neurala språkmodeller.
REF är ett neuralt nätverk baserat tillvägagångssätt, som lär sig flera täta, lågdimensionella inbäddningar med hjälp av globala dokument sammanhang.
Improving Word Representations via Global Context and Multiple Word Prototypes
{'venue': 'ACL', 'journal': None, 'mag_field_of_study': ['Computer Science']}