Flera mätvärden har föreslagits för utvärdering av grammatiska felkorrigeringssystem (GEC) som bygger på grammatikalitet, fluens och tillräcklighet i utmatningsmeningarna. Tidigare studier av korrelationen mellan dessa mätvärden och bedömningar av mänsklig kvalitet var ofullständiga på grund av bristen på lämpliga signifikanstester, skillnader i de metoder och val av datauppsättningar som användes. I detta dokument omvärderar vi referensbaserade GEC-mått genom att mäta korrelationer på systemnivå med människor på en stor uppsättning mänskliga bedömningar av GEC-utgångar, och genom att korrekt utföra statistiska signifikanstester. Våra resultat visar ingen betydande fördel med GLEU jämfört med MaxMatch (M 2 ), motsäger tidigare studier som hävdar att GLEU är överlägsen. För en finare analys utvärderar vi dessutom dessa mått för deras överensstämmelse med mänskliga bedömningar på straffnivå. Vår mening-nivå analys indikerar att jämföra GLEU och M 2, en metrisk kan vara mer användbart än den andra beroende på scenariot. Vi analyserar dessa mätvärden ytterligare kvalitativt och våra resultat visar att förutom att vara mindre tolkningsbara och icke-deterministiska, producerar GLEU också kontraintuitiva poäng i vanliga testexempel.
Chollampatt och Ng Ref föreslog en analys på meningsnivå som visar att en jämförelse mellan GLEU och M2 kan vara mer användbar än den andra beroende på scenariot.
A Reassessment of Reference-Based Grammatical Error Correction Metrics
{'venue': 'COLING', 'journal': None, 'mag_field_of_study': ['Computer Science']}