Abstract-Vi föreslår en samverkande filtrering (CF) modell för att förutsäga användarnöjdhet i SDS utvärdering. Inspirerad av användningen av CF i rekommendationssystem, där en användares preferens för ett nytt objekt antas likna det för liknande objekt som tidigare har utvärderats, anpassar vi idén att förutsäga användarutvärderingar av ovärderade dialogrutor baserat på de betyg som mottagits av liknande dialogrutor. Betyg av dialoger samlas genom crowdsourcing genom Amazon Mechanical Turk. En referensbaslinje tillhandahålls av en linjär regressionsmodell (LRM) baserad på PARADISE-ramen. Vi presenterar två versioner av CF-modellen. För det första, den objektbaserade samarbetsfiltreringsmodell (ICFM) kluster betygsatta dialoger och bygger en LRM för varje kluster. Klassificeringen av en osynlig dialogruta förutsägs av LRM i dess mest liknande kluster. För det andra, den utökade ICFM (EICFM) separerar dialogfunktioner i användarrelaterade och systemrelaterade grupper, för att bygga LRM för dessa separat. Experimentella resultat på dialogrutor från Let's Go! Systemet visar att både ICFM och EICFM avsevärt kan förbättra den andel av variabiliteten som förklaras av LRM. Vi visar också att CF-modellen är allmänt tillgänglig för en ny dialogkorpus från systemen i Spoken Dialog Challenge (SDC) 2010.
I Ref föreslogs en samarbetsbaserad filtreringsbaserad metod för att uppskatta användarens tillfredsställelse i dialogrutor.
Predicting User Satisfaction in Spoken Dialog System Evaluation With Collaborative Filtering
{'venue': 'IEEE Journal of Selected Topics in Signal Processing', 'journal': 'IEEE Journal of Selected Topics in Signal Processing', 'mag_field_of_study': ['Computer Science']}