Mänsklig utvärdering för naturlig språkgeneration (NLG) lider ofta av inkonsekventa användarbetyg. Även om tidigare forskning tenderar att tillskriva detta problem individuella användarpreferenser, visar vi att kvaliteten på mänskliga bedömningar också kan förbättras genom experimentell design. Vi presenterar en ny rankbaserad magnitudberäkningsmetod (RankME), som kombinerar användningen av kontinuerliga skalor och relativa bedömningar. Vi visar att RankME avsevärt förbättrar tillförlitligheten och konsekvensen hos mänskliga betyg jämfört med traditionella utvärderingsmetoder. Dessutom visar vi att det är möjligt att utvärdera NLG-system enligt flera olika kriterier, vilket är viktigt för felanalys. Slutligen visar vi att RankME, i kombination med Bayesian uppskattning av systemets kvalitet, är ett kostnadseffektivt alternativ för att ranka flera NLG-system.
RankME 5 REF är ett utvärderingssystem för naturlig språkgeneration.
RankME: Reliable Human Ratings for Natural Language Generation
{'venue': 'Proceedings of NAACL-HLT 2018, pages 72-78, New Orleans, Louisiana, June 1-6, 2018', 'journal': None, 'mag_field_of_study': ['Computer Science']}