Abstrakt. Under personliga interaktioner använder lyssnarna återkoppling från bakkanalen som t.ex. huvudnodar som en signal till talaren om att kommunikationen fungerar och att de bör fortsätta att tala. Förutsäga dessa backchannel möjligheter är en viktig milstolpe för att bygga engagerande och naturliga virtuella människor. I detta papper visar vi hur sekventiella probabilistiska modeller (t.ex., Dolda Markov Modell eller Villkorliga Random Fields) automatiskt kan lära sig från en databas över människa-till-mänskliga interaktioner för att förutsäga lyssnare backchannels med hjälp av högtalare multimodala utdatafunktioner (t.ex. prosody, talade ord och ögon blick). De viktigaste utmaningarna som tas upp i detta dokument är automatiskt urval av relevanta egenskaper och optimal funktionsrepresentation för probabilistiska modeller. För förutsägelse av visuella backchannel-signaler (dvs. huvudnodar) visar vår prognosmodell en statistiskt signifikant förbättring jämfört med en tidigare publicerad metod baserad på handgjorda regler.
I REF användes sekventiella probabilistiska modeller för att välja multimodala funktioner från en högtalare (t.ex. prosody, blick och talade ord) för att förutsäga visuella back-channel signaler (t.ex. huvud nickar).
Predicting listener backchannels: A probabilistic multimodal approach
{'venue': 'In In proceedings of Intelligent Virtual Agents (IVA', 'journal': None, 'mag_field_of_study': ['Computer Science']}