Vi undersöker utvärderingsmått för dialogsvarsgenereringssystem där övervakade etiketter, t.ex. uppgiftskomplettering, inte finns tillgängliga. Nya verk i svarsgenerering har antagit mätvärden från maskinöversättning för att jämföra en modells genererade svar på ett enda mål svar. Vi visar att dessa mått korrelerar mycket svagt med mänskliga bedömningar i den icke-tekniska Twitter-domänen, och inte alls i den tekniska Ubuntu-domänen. Vi tillhandahåller kvantitativa och kvalitativa resultat som belyser specifika svagheter i befintliga mätvärden och ger rekommendationer för framtida utveckling av bättre automatiska mätvärden för dialogsystem.
REF har visat att dessa mätvärden mycket svagt korrelerar med mänsklig utvärdering.
How NOT To Evaluate Your Dialogue System: An Empirical Study of Unsupervised Evaluation Metrics for Dialogue Response Generation
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Computer Science']}