Röstaktiverade intelligenta assistenter som Siri, Google Now och Cortana är vanliga på mobila enheter. Det är dock utmanande att utvärdera dem på grund av det varierande och föränderliga antalet uppgifter som stöds, t.ex. röstkommando, webbsökning och chatt. Eftersom varje uppgift kan ha sin egen procedur och en unik form av korrekta svar, är det dyrt att utvärdera varje uppgift individuellt. Detta dokument är det första försöket att lösa denna utmaning. Vi utvecklar konsekventa och automatiska metoder som kan utvärdera olika uppgifter i röstaktiverade intelligenta assistenter. Vi använder implicit feedback från användare för att förutsäga om användarna är nöjda med den intelligenta assistenten samt dess komponenter, dvs. taligenkänning och avsiktsklassificering. Med detta tillvägagångssätt kan vi potentiellt utvärdera och jämföra olika uppgifter inom och mellan intelligenta assistenter enligt de förväntade kundnöjdhetsgraderna. Vårt tillvägagångssätt kännetecknas av ett automatiskt system för att kategorisera interaktion mellan användare och system i aktivitetsoberoende dialogåtgärder, t.ex. att användaren befaller, väljer eller bekräftar en åtgärd. Vi använder åtgärden sekvens i en session för att förutsäga användarens tillfredsställelse och kvaliteten på taligenkänning och avsikt klassificering. Vi inkluderar också andra funktioner för att ytterligare förbättra vår strategi, inklusive funktioner som härrör från tidigare arbete på webbsökning tillfredsställelse förutsägelse, och de som utnyttjar akustiska egenskaper röstförfrågningar. Vi utvärderar vårt tillvägagångssätt med hjälp av data som samlats in från en användarstudie. Resultaten visar att vår strategi exakt kan identifiera tillfredsställande och otillfredsställande sessioner.
I REF föreslogs en automatisk metod för att bedöma användarnas tillfredsställelse med intelligenta assistenter.
Automatic Online Evaluation of Intelligent Assistants
{'venue': "WWW '15", 'journal': None, 'mag_field_of_study': ['Computer Science']}