Sammanhangsrepresentationer är centrala för olika NLP uppgifter, såsom ordförnimmelse disambigation, namngivna enhet erkännande, coreferens upplösning, och många fler. I detta arbete presenterar vi en neural modell för att effektivt lära sig en generisk kontext inbäddning funktion från stora corpora, med hjälp av dubbelriktad LSTM. Med en mycket enkel tillämpning av våra sammanhangsrepresentationer lyckas vi överträffa eller nästan nå toppmoderna resultat vid slutförande av meningar, lexikal substitution och ordförnimmelse disambigeringsuppgifter, samtidigt som vi i hög grad överträffar den populära kontextrepresentationen av genomsnittliga ordinslag. Vi släpper vår kod och pretränade modeller, vilket tyder på att de kan vara användbara i en mängd olika NLP-uppgifter.
REF föreslagna sammanhang2vek, en BiLSTM-baserad modell för att lära sig sammanhang inbäddning av målord och uppnå toppmoderna resultat på meningsfullbordande och ordförnimmelse disambigering.
context2vec: Learning Generic Context Embedding with Bidirectional LSTM
{'venue': 'CoNLL', 'journal': None, 'mag_field_of_study': ['Computer Science']}