Biomedicinsk namngiven enhetsigenkänning (NER) är en grundläggande uppgift inom textutvinning av medicinska dokument och har många tillämpningar. Djupt lärande baserade metoder för denna uppgift har fått ökad uppmärksamhet under de senaste åren eftersom deras parametrar kan läras end-to-end utan behov av handgjorda funktioner. Dessa metoder bygger dock på högkvalitativa märkta uppgifter, som är dyra att få tag på. För att ta itu med detta undersöker vi hur man använder omärkt textdata för att förbättra prestandan hos NER-modeller. Speciellt tränar vi en dubbelriktad språkmodell (BiLM) på omärkta data och överför dess vikter till "pretrain" en NER-modell med samma arkitektur som BiLM, vilket resulterar i en bättre parameter initialisering av NER-modellen. Vi utvärderar vår strategi för fyra referensdatauppsättningar för biomedicinsk NER och visar att det leder till en betydande förbättring av F1-poängen jämfört med de senaste metoderna. Vi visar också att BiLM styrkeöverföring leder till en snabbare modellträning och den förtränade modellen kräver färre träningsexempel för att uppnå en viss F1-poäng.
Att använda allmänt tillgängliga omärkta textdata för att förbättra prestandan hos NER-modeller, Sachan et al. I REF föreslogs en effektiv användning av dubbelriktad språkmodellering för medicinskt namngivna enhetsigenkänning.
Effective Use of Bidirectional Language Modeling for Transfer Learning in Biomedical Named Entity Recognition
{'venue': None, 'journal': 'arXiv: Computation and Language', 'mag_field_of_study': ['Computer Science']}