Språklig sekvensmärkning är en allmän modelleringsmetod som omfattar en mängd olika problem, såsom del-av-peech-märkning och namngiven enhetsigenkänning. Nya framsteg i neurala nätverk (NNs) gör det möjligt att bygga tillförlitliga modeller utan handgjorda funktioner. I många fall är det dock svårt att få tillräckligt med kommentarer för att utbilda dessa modeller. I denna studie utvecklar vi en ny neural ram för att extrahera riklig kunskap gömd i råa texter för att ge sekvensmärkning uppgift. Förutom wordlevel kunskap som ingår i förtränade ord inbäddningar, karaktär-medvetna neurala språk modeller införlivas för att extrahera tecken-nivå kunskap. Tekniker för överföring av lärande används vidare för att förmedla olika komponenter och vägleda språkmodellen mot nyckelkunskaper. Jämfört med tidigare metoder gör dessa uppgiftsspecifika kunskaper det möjligt för oss att anta en mer koncis modell och genomföra effektivare utbildning. Den föreslagna ramen skiljer sig från de flesta överföringsmetoder och bygger inte på någon ytterligare tillsyn. Det utvinner kunskap från fristående orderinformation om träningssekvenser. Omfattande experiment på referensdatauppsättningar visar hur effektivt det är att utnyttja kunskaper på teckennivå och effektiviteten i samutbildningen. På CONLL03 NER-uppgiften slutförs exempelvis modellträningen på ca 6 timmar på en enda GPU, vilket når F1 poäng på 91.71±0.10 utan att använda någon extra annotering.
REF ) presenterade en taskaware neural språk modell för att extrahera riklig kunskap gömd i råa texter för att ge sekvens märkning uppgift och sedan uppnås state-of-art på många datauppsättningar.
Empower Sequence Labeling with Task-Aware Neural Language Model
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Computer Science']}