Den senaste tidens framsteg i fråga om djupinlärning har resulterat i en uppgång i populariteten hos den naturliga språkgenerationen (NLG). Många djupt lärande baserade modeller, inklusive återkommande neurala nätverk och generativa kontrariska nätverk, har föreslagits och tillämpas för att generera olika typer av text. Trots den snabba utvecklingen av metoder, hur man bättre utvärdera kvaliteten på dessa naturliga språkgeneratorer är fortfarande en betydande utmaning. Vi genomför en fördjupad empirisk studie för att utvärdera befintliga utvärderingsmetoder för naturlig språkgeneration. Vi jämför människobaserade utvärderare med en mängd olika automatiserade utvärderingsförfaranden, inklusive diskriminativa utvärderare som mäter hur väl den genererade texten kan skiljas från mänskligskriven text, samt textöverlappar mätvärden som mäter hur lik den genererade texten är till människoskrivna referenser. Vi mäter i vilken utsträckning dessa olika utvärderare är överens om rangordningen av ett dussin toppmoderna generatorer för produktrecensioner online. Vi finner att mänskliga utvärderare inte korrelerar väl med diskriminativa utvärderare, vilket lämnar en större fråga om huruvida kontradiktorisk noggrannhet är rätt mål för den naturliga språkgenerationen. I allmänhet är särskiljande maskingenererad text en utmanande uppgift även för mänskliga utvärderare, och deras beslut tenderar att korrelera bättre med textöverlappande mätvärden. Vi anser också att mångfald är ett intressant mått som visar på olika utvärderares bedömningar.
Nyligen genomförd studie visar att diskriminatornoggrannheten inte korrelerar väl med mänsklig preferens REF.
Judge the Judges: A Large-Scale Evaluation Study of Neural Language Models for Online Review Generation
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Computer Science', 'Mathematics']}