Nya framsteg i språkmodellering med hjälp av återkommande neurala nätverk har gjort det möjligt att modellera språk som distributioner över tecken. Genom att lära sig att förutsäga nästa tecken på grundval av tidigare tecken har sådana modeller visat sig automatiskt internalisera språkliga begrepp som ord, meningar, undertexter och även känslor. I detta dokument föreslår vi att man utnyttjar de interna tillstånden i en tränad teckenspråksmodell för att producera en ny typ av ordinslag som vi kallar kontextuella stränginbäddningar. Våra föreslagna inbäddningar har de distinkta egenskaperna att de (a) tränas utan någon uttrycklig uppfattning om ord och därmed i grunden modellord som sekvenser av tecken, och (b) är kontextualiserade av sin omgivande text, vilket innebär att samma ord kommer att ha olika inbäddningar beroende på dess kontextuella användning. Vi gör en jämförande utvärdering mot tidigare inbäddningar och finner att våra inbäddningar är mycket användbara för nedströmsuppgifter: över fyra klassiska sekvensmärkning uppgifter vi konsekvent överträffar den tidigare state-of-the-art. Framför allt överträffar vi betydligt tidigare arbete med engelskt och tyskt namngivet enhetsigenkänning (NER), vilket gör det möjligt för oss att rapportera nya toppmoderna F1-poäng på den gemensamma uppgiften CONL03. Vi släpper alla kod- och förskolade språkmodeller i en enkel att använda ram till forskarsamhället, för att möjliggöra reproduktion av dessa experiment och tillämpning av våra föreslagna inbäddningar till andra uppgifter: https://github.com/zalandoresearch/flair
REF utbildade en teckenspråksmodell för att producera kontextuella stränginlägg.
Contextual String Embeddings for Sequence Labeling
{'venue': 'COLING', 'journal': None, 'mag_field_of_study': ['Computer Science']}