Abstract-The automatic assessment of affect är främst baserad på funktions-nivå metoder, såsom avstånd mellan ansiktspunkter eller prosodic och spektral information när det gäller audiovisuella analyser. Det är dock känt och intuitivt att beteendehändelser som leenden, huvudskakningar eller skratt och suckar också bär mycket relevant information om ett ämnes affektiva uppvisning. Därför föreslår vi en ny strängbaserad förutsägelsemetod för att sammansmälta sådana händelser och förutsäga mänsklig påverkan i ett kontinuerligt dimensionsutrymme. Omfattande analys och utvärdering har genomförts med hjälp av den nyligen släppta SEMAINE-databasen för kommunikation mellan människor. För en grundlig förståelse av de erhållna resultaten tillhandahåller vi ytterligare riktmärken genom mer konventionell modellering på funktionsnivå, och jämför dessa och den strängbaserade metoden för fusion av signalbaserade funktioner och strängbaserade händelser. Våra experimentella resultat visar att den föreslagna strängbaserade metoden är den bästa metoden för automatisk förutsägelse av Valence- och Förväntningsdimensioner, och förbättrar förutsägelsens prestanda för de andra dimensionerna när den kombineras med åtminstone akustiska signalbaserade funktioner.
Eyben m.fl. REF föreslog en strängbaserad förutsägelsemodell och multimodellfusion av verbala och ickeverbala beteendehändelser för automatisk förutsägelse av mänsklig påverkan i ett dimensionsutrymme.
String-based audiovisual fusion of behavioural events for the assessment of dimensional affect
{'venue': 'Face and Gesture 2011', 'journal': 'Face and Gesture 2011', 'mag_field_of_study': ['Computer Science']}