Abstrakt. Jag undersöker vad som skulle vara nödvändigt för att flytta del-av-tal märkning prestanda från sin nuvarande nivå på cirka 97,3% token noggrannhet (56% mening noggrannhet) till nära 100% noggrannhet. Jag föreslår att det fortfarande måste vara möjligt att kraftigt öka märkningens prestanda och undersöka några användbara förbättringar som nyligen har gjorts av Stanford Part-of-Speech Tagger. Men en felanalys av några av de återstående felen tyder på att det finns begränsad ytterligare körsträcka att ha antingen från bättre maskininlärning eller bättre funktioner i en diskriminerande sekvens klassificering. Utsikterna till ytterligare vinster från halvövervakat lärande verkar också ganska begränsade. I stället föreslår jag och börjar visa att den största möjligheten till ytterligare framsteg kommer av att förbättra den taxonomiska grunden för de språkliga resurser från vilka taggar utbildas. Det vill säga från förbättrad beskrivande lingvistik. Jag avslutar dock med att föreslå att det också finns gränser för denna process. Statusen för vissa ord kanske inte kan fångas tillräckligt genom att tilldela dem till en av ett litet antal kategorier. Även om konventioner kan användas i sådana fall för att förbättra märkningskonsistensen, saknar de en stark språklig grund. Vid första anblicken arbetar nuvarande del-av-tal taggers snabbt och tillförlitligt, med per-token noggrannhet på något över 97% [1] [2] [3] [4]. Tittade på mer noga, historien är inte riktigt så rosig. Denna utvärdering åtgärd är enkel både eftersom det mäts per token och eftersom du får poäng för varje interpunktionstecken och andra polletter som inte är tvetydiga. Det är kanske mer realistiskt att titta på takten för att få hela meningar rätt, eftersom ett enda dåligt misstag i en mening i hög grad kan kasta bort nyttan av en tapperhet till nedströms uppgifter som beroende tolkning. Nuvarande bra taggers har mening accuracies runt 55-57%, vilket är en mycket mer blygsam poäng. Noggrannheten sjunker också markant när det finns skillnader i ämne, epok eller skrivstil mellan träning och operativa data. Ändå har uppfattningen varit att samma-epoch-och-domän-del-av-tal-märkning är ett löst problem, och dess noggrannhet kan egentligen inte drivas högre. I
REF gjorde en felanalys för WSJ och upptäckte att 19 % av felen faller under "Svår lingvistik" som kräver icke-lokal kontextmodellering för att kunna lösa dem.
Part-of-Speech Tagging from 97 % to 100%: Is It Time for Some Linguistics?
{'venue': 'CICLing', 'journal': None, 'mag_field_of_study': ['Computer Science']}