Sammanhangssträng inbäddningar är en ny typ av kontextualiserade ord inbäddning som visade sig ge state-of-the-art resultat när de användes i en rad sekvens märkning uppgifter. De är baserade på tecken-nivå språkmodeller som behandlar text som distributioner över tecken och kan generera inbäddningar för alla teckensträngar i alla textsammanhang. Men sådana rent karaktärsbaserade metoder kämpar för att producera meningsfulla inbäddningar om en sällsynt sträng används i ett underspecificerat sammanhang. För att ta itu med denna nackdel föreslår vi en metod där vi dynamiskt aggregerar kontextualiserade inbäddningar av varje unik sträng som vi stöter på. Vi använder sedan en pooling operation för att destillera en global ordrepresentation från alla kontextualiserade instanser. Vi utvärderar dessa sammanslagna kontextualiserade inbäddningar om gemensamma namngivna enhetsigenkänning (NER) uppgifter som CoNLL-03 och WNUT och visar att vår strategi avsevärt förbättrar state-of-the-art för NER. Vi gör alla kod- och förskolade modeller tillgängliga för forskarsamhället för användning och reproduktion.
REF aggregat dynamiskt kontextualiserade inbäddningar för varje unik sträng och sedan använda en pooling operation för att generera en global ordrepresentation från dessa kontextualiserade instanser för NER.
Pooled Contextualized Embeddings for Named Entity Recognition
{'venue': 'NAACL-HLT', 'journal': None, 'mag_field_of_study': ['Computer Science']}