Tidigare metoder för automatiserad uppsatsscoring (AES) lär sig en betygsmodell genom att minimera antingen klassificering, regression eller parvis klassificeringsförlust, beroende på vilken inlärningsalgoritm som används. I detta dokument hävdar vi att de nuvarande AES-systemen kan förbättras ytterligare genom att man tar hänsyn till överenskommelsen mellan människor och maskinmätare. I detta syfte föreslår vi en rankbaserad metod som använder listmässigt lärande för att rangordna algoritmer för att lära sig en betygsmodell, där överenskommelsen mellan människa och maskin mätare direkt införlivas i förlustfunktionen. Olika språkliga och statistiska funktioner används för att underlätta inlärningsalgoritmer. Experiment på det allmänt tillgängliga engelska uppsatsdatasetet, Automatiserat studentbedömningspris (ASAP), visar att vårt föreslagna tillvägagångssätt överträffar toppmoderna algoritmer, och uppnår prestanda som är jämförbar med professionella mänskliga bedömare, vilket tyder på effektiviteten i vår föreslagna metod för automatiserade uppsatsscoring.
REF förbättrar automatiskt poängsättning av essäer genom att införliva överenskommelsen mellan människa och maskinmätare.
Automated Essay Scoring by Maximizing Human-Machine Agreement
{'venue': 'EMNLP', 'journal': None, 'mag_field_of_study': ['Computer Science']}