I detta dokument undersöker vi först rollen för inter-annotatoravtalsstatistik i grammatisk felkorrigering och drar slutsatsen att de är mindre informativa på områden där det kan finnas mer än ett korrekt svar. Därefter skapade vi en datauppsättning på 50 studentuppsatser, var och en korrigerad med 10 olika annoterare för alla feltyper, och undersökte hur både mänskliga och GEC-systemvärden varierar när olika kombinationer av dessa annoteringar används som guldstandard. När vi lär oss att även människor inte kan göra poäng högre än 75% F 0,5, föreslår vi en ny metrisk baserad på förhållandet mellan människa och systemprestanda. Vi använder också denna metod för att undersöka i vilken utsträckning annoterare är överens om vissa felkategorier, och finner att liknande resultat kan erhållas från en mindre delmängd på bara 10 essäer.
Statistik över inter-annotatoravtal i grammatisk felkorrigering analyserades REF.
How Far are We from Fully Automatic High Quality Grammatical Error Correction?
{'venue': 'ACL', 'journal': None, 'mag_field_of_study': ['Computer Science']}