Nya framsteg i språkrepresentation med hjälp av neurala nätverk har gjort det möjligt att överföra inlärda interna tillstånd av en utbildad modell till nedströms naturliga språk bearbetning uppgifter, såsom namngivna enhetsigenkänning (NER) och frågesvar. Det har visat sig att hävstången från förutbildade språkmodeller förbättrar den övergripande prestandan för många uppgifter och är till stor nytta när det är ont om märkta data. I detta arbete använder vi en förtränad BERT med villkorliga Random Fields (CRF) arkitektur till NER-uppgiften på portugisiska språket, kombinerar överföringskapaciteten för BERT med de strukturerade förutsägelser av CRF. Vi utforskar funktionsbaserade och finjusterande utbildningsstrategier för BERT-modellen. Vår finjusteringsmetod ger nya toppmoderna resultat på datauppsättningen HAREM I, vilket förbättrar F1-poängen med 3,2 punkter om det selektiva scenariot (5 NE-klasser) och med 3,8 punkter om det totala scenariot (10 NE-klasser).
Referensreferensreferensreferensen använder nyligen en BERT-modell med ett (CRF)-skikt för att extrahera NER av det portugisiska språket.
Portuguese Named Entity Recognition using BERT-CRF
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Computer Science']}