Det yttersta målet när man bygger dialogsystem är att tillfredsställa verkliga användares behov, men kvalitetssäkring för dialogstrategier är ett icke-trivialt problem. De tillämpade utvärderingsmåtten och de resulterande designprinciperna är ofta oklara, framträder av test-och-terror, och är i hög grad kontextberoende. I detta dokument införs datadrivna metoder för att erhålla tillförlitliga objektiva funktioner för systemkonstruktion. I synnerhet testar vi om en objektiv funktion som erhålls från Wizard-of-Oz (WOZ) data är en giltig uppskattning av verkliga användares preferenser. Vi testar detta i en testtestjämförelse mellan den modell som erhållits från WOZ-studien och de modeller som erhållits vid testning med riktiga användare. Vi kan visa att den objektiva funktionen som erhålls från WOZ-data, trots en låg grad av anpassning till de ursprungliga uppgifterna, ger exakta förutsägelser för automatisk dialogutvärdering, och när man automatiskt optimerar en policy med hjälp av dessa förutsägelser blir förbättringen av en strategi som helt enkelt efterliknar uppgifterna tydlig genom en felanalys.
Rieser och Lemon REF tillhandahöll en datadriven metod för att erhålla tillförlitlig utvärdering under systemkonstruktionen.
Automatic Learning and Evaluation of User-Centered Objective Functions for Dialogue System Optimisation
{'venue': 'LREC', 'journal': None, 'mag_field_of_study': ['Computer Science']}