I dokumentet presenteras resultaten av den första storskaliga mänskliga utvärderingen av automatiska grammatiska felkorrigeringssystem (GEC). Tolv deltagande system och den oförändrade inmatningen av den gemensamma uppgiften CoNLL-2014 har omvärderats i ett WMT-inspirerat mänskligt utvärderingsförfarande. Metoder som införts för workshopen för utvärdering av maskinöversättningar har anpassats till GEC och vid behov utvidgats. De rankningar som produceras används för att utvärdera standardmått för grammatisk felkorrigering i termer av korrelation med mänskligt omdöme.
Utvärderingsmetoder från WMT mänskliga utvärderingskampanjer anpassades också till grammatisk felkorrigering REF.
Human Evaluation of Grammatical Error Correction Systems
{'venue': 'EMNLP', 'journal': None, 'mag_field_of_study': ['Computer Science']}