Många utvärderingsfrågor för att upptäcka grammatiska fel har tidigare förbisetts, vilket gör det svårt att göra meningsfulla jämförelser mellan olika metoder, även när de utvärderas på samma corpus. Till att börja med blir utvärderingen mer komplicerad än i vissa andra NLP-uppgifter, som vi tar upp genom att presentera ett intuitivt utvärderingssystem. Av särskild vikt för att upptäcka fel är skevheten i data - den låga frekvensen av fel jämfört med icke-fel - som snedvrider vissa traditionella prestandamått och begränsar deras användbarhet, vilket får oss att rekommendera rapportering av råa mätningar (sanna positiva, falska negativa, falska positiva, verkliga negativa). Andra frågor som är särskilt irriterande för feldetektering fokuserar på att definiera dessa råa mätningar: ange storleken eller omfattningen av ett fel, korrekt behandla fel som graderade snarare än diskreta fenomen, och räkna icke-fel. Vi diskuterar rekommendationer för bästa praxis när det gäller rapportering av resultaten av systemutvärderingen för dessa fall, rekommendationer som är beroende av att man gör tydliga antaganden och tillämpningar för att upptäcka fel. Genom att lyfta fram problemen med nuvarande felsökningsbedömning kommer fältet att kunna utvecklas bättre.
REF presenterade utvärderingssystemet för kartläggning av skribent, notator och systemutmatning på traditionella utvärderingsmått för grammatisk feldetektering.
Problems in Evaluating Grammatical Error Detection Systems
{'venue': 'COLING', 'journal': None, 'mag_field_of_study': ['Computer Science']}