Förtränade ordinslag från omärkt text har blivit en standardkomponent i neurala nätverksarkitekturer för NLP-uppgifter. I de flesta fall utbildas dock det återkommande nätverk som arbetar med framställningar på ordnivå för att producera kontextkänsliga representationer på relativt få märkta data. I detta dokument visar vi en allmän semi-övervakad metod för att lägga till förtränade sammanhang inbäddningar från dubbelriktade språkmodeller till NLP-system och tillämpa det på sekvens märkning uppgifter. Vi utvärderar vår modell på två standarddataset för namngiven enhetsigenkänning (NER) och bitning, och i båda fallen uppnå toppmoderna resultat, överträffar tidigare system som använder andra former av överföring eller gemensamt lärande med ytterligare märkta data och uppgiftsspecifika åskådare.
REF lägger till förtränade kontextinbäddningar från dubbelriktade språkmodeller till NER.
Semi-supervised sequence tagging with bidirectional language models
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Computer Science']}