Multimodal interaktion i vardagen verkar så enkel. En närmare titt visar dock att en sådan interaktion verkligen är komplex och omfattar flera nivåer av samordning, från språkutbyte på hög nivå till kopplingar på låg nivå av tillfälliga kroppsliga rörelser både inom en agent och över flera samverkande medel. En bättre förståelse av hur dessa multimodala beteenden samordnas kan ge insiktsfulla principer för att vägleda utvecklingen av intelligenta multimodala gränssnitt. Mot bakgrund av detta föreslår och genomför vi en forskningsram där mänskliga deltagare interagerar med en virtuell agent i en virtuell miljö. Vår plattform gör det möjligt för den virtuella agenten att hålla koll på användarens blick och handrörelser i realtid, och justera sina egna beteenden därefter. Ett experiment är utformat och genomfört för att undersöka adaptiva användarbeteenden i en mänsklig-agent gemensam uppmärksamhet uppgift. Multimodala dataströmmar samlas in i studien inklusive tal, ögonblick, hand- och huvudrörelser från både den mänskliga användaren och den virtuella agenten, som sedan analyseras för att upptäcka olika beteendemönster. Dessa mönster visar att mänskliga deltagare är mycket känsliga för tillfälliga multimodala beteenden som genereras av den virtuella agenten och de anpassar snabbt sina beteenden därefter. Våra resultat tyder på vikten av att studera och förstå adaptiva beteenden i realtid i multimodala interaktioner mellan människa och dator.
Mänskliga användare är mycket känsliga för tillfälliga multimodala beteenden som genereras av virtuella agenter REF.
Real-time adaptive behaviors in multimodal human-avatar interactions
{'venue': "ICMI-MLMI '10", 'journal': None, 'mag_field_of_study': ['Computer Science']}