Vi undersöker utvärderingsmått för dialogsvarsgenereringssystem där övervakade etiketter, t.ex. uppgiftskomplettering, inte finns tillgängliga. Nya verk i svarsgenerering har antagit mätvärden från maskinöversättning för att jämföra en modells genererade svar på ett enda mål svar. Vi visar att dessa mått korrelerar mycket svagt med mänskliga bedömningar i den icke-tekniska Twitter-domänen, och inte alls i den tekniska Ubuntu-domänen. Vi tillhandahåller kvantitativa och kvalitativa resultat som belyser specifika svagheter i befintliga mätvärden och ger rekommendationer för framtida utveckling av bättre automatiska mätvärden för dialogsystem.
Nyligen utvärderade Ref ) ett antal folkliga åtgärder för att skapa svarssystem för dialog och framhöll särskilda svagheter i åtgärderna.
How NOT To Evaluate Your Dialogue System: An Empirical Study of Unsupervised Evaluation Metrics for Dialogue Response Generation
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Computer Science']}