I naturliga språkbearbetningsprojekt (NLP) använder vi inter-annotatoravtalsåtgärder och riktlinjer för annotering för att säkerställa konsekventa annoteringar. Riktlinjer för kommentarer gör dock ofta språkligt diskutabla och till och med något godtyckliga beslut, och interannotatoravtal är ofta mindre än perfekta. Medan annoteringsprojekt vanligtvis anger hur man ska hantera språkligt diskutabla fenomen, är notator meningsskiljaktigheter vanligtvis fortfarande härrör från dessa "hårda" fall. Detta visar att vissa fel är mer diskutabla än andra. I detta papper använder vi små prover av dubbelyannotated del-of-tal (POS) data för Twitter för att uppskatta ennotation tillförlitlighet och visa hur dessa mått sannolikt interannotator avtal kan genomföras i förlust funktioner POS taggers. Vi finner att dessa kostnadskänsliga algoritmer presterar bättre över annoteringsprojekt och, mer förvånande, även på data kommenterade enligt samma riktlinjer. Slutligen visar vi att POS-märkningsmodeller som är känsliga för inter-annotatoravtal presterar bättre på uppgiften att stycka nedströms.
REF visade att införandet av taxerosäkerhet i förlustfunktionen för en POS-tagger förbättrar prestandan i senare led.
Learning part-of-speech taggers with inter-annotator agreement loss
{'venue': 'EACL', 'journal': None, 'mag_field_of_study': ['Computer Science']}