Vi betraktar utvärderingsproblemet i Natural Language Generation (NLG) och presenterar resultat för utvärdering av flera NLG-system med liknande funktionalitet, inklusive en kunskapsbaserad generator och flera statistiska system. Vi jämför utvärderingsresultat för dessa system av experter på mänskliga domäner, icke-experter och flera automatiska utvärderingsmått, inklusive NIST, BLEU och ROUGE. Vi finner att NIST-poäng korrelerar bäst (> 0, 8) med mänskliga bedömningar, men att alla automatiska mätvärden som vi undersökte är partiska till förmån för generatorer som väljer baserat enbart på frekvens. Vi drar slutsatsen att automatisk utvärdering av NLG-system har en betydande potential, särskilt när det finns referenstexter av hög kvalitet och endast ett litet antal mänskliga utvärderare. I allmänhet är det dock förmodligen bäst att automatiska utvärderingar stöds av människobaserade utvärderingar, eller åtminstone av studier som visar att ett visst mått korrelerar väl med mänskliga bedömningar inom ett visst område.
REF gör en jämförelse av automatiska mätvärden mot experter på mänskliga domäner och icke-experter inom området väderprognoser.
Comparing Automatic And Human Evaluation Of NLG Systems
{'venue': 'Conference Of The European Association For Computational Linguistics', 'journal': None, 'mag_field_of_study': ['Computer Science']}