Datorseende har gynnats av att initiera flera djupa lager med vikter förtränade på stora övervakade träningsset som ImageNet. Naturlig språkbehandling (NLP) ser vanligtvis initiering av endast det lägsta lagret av djupa modeller med förtränade ordvektorer. I detta papper använder vi en djup LSTM kodare från en uppmärksamhetssekvens-till-sekvens modell tränad för maskinöversättning (MT) för att kontextualisera ordvektorer. Vi visar att lägga till dessa sammanhangsvektorer (CoVe) förbättrar prestandan över att endast använda oövervakade ord- och teckenvektorer på en mängd olika gemensamma NLP-uppgifter: känsloanalys (SST, IMDb), frågeklassificering (TREC), implementation (SNLI) och frågesvar (SQuAD). CoVe förbättrar prestandan hos våra baslinjemodeller till den senaste tekniken för finkorniga känsloanalyser och -förutsättningar.
Intermediata representationer från övervakade maskinöversättningsmodeller förbättra prestanda på frågor svar, känslor analys, och naturligt språk inference REF.
Learned in Translation: Contextualized Word Vectors
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Computer Science']}