Att automatiskt utvärdera kvaliteten på dialogens svar på ostrukturerade områden är ett utmanande problem. Tyvärr är befintliga automatiska utvärderingsmått partiska och korrelerar mycket dåligt med mänskliga bedömningar av svarskvalitet. Men att ha ett korrekt automatiskt utvärderingsförfarande är avgörande för dialogforskningen, eftersom det möjliggör snabb prototypering och testning av nya modeller med lägre kostnader för mänskliga utvärderingar. Som svar på denna utmaning formulerar vi automatisk dialogutvärdering som ett inlärningsproblem. Vi presenterar en utvärderingsmodell (ADEM) som lär sig att förutsäga mänskliga-liknande poäng för input-svar, med hjälp av en ny datauppsättning av mänskliga svarspoäng. Vi visar att ADEM-modellens förutsägelser korrelerar betydligt, och på en nivå som är mycket högre än word-overlap-mått som BLEU, med mänskliga bedömningar på både yttrande- och systemnivå. Vi visar också att ADEM kan generalisera till att utvärdera dialogmodeller som inte syns under utbildningen, ett viktigt steg för automatisk dialogutvärdering. Denna förordning träder i kraft den tjugonde dagen efter det att den har offentliggjorts i Europeiska unionens officiella tidning.
Lowe och Al. I REF föreslogs en modell för automatisk utvärdering av dialog (ADEM) som lär sig att förutsäga mänskliga värden för input-svar.