Psykologiska forskningsresultat tyder på att människor förlitar sig mer på de kombinerade visuella kanalerna av ansikte och kropp än någon annan kanal när de gör bedömningar om mänskligt kommunikativt beteende. De flesta av de befintliga systemen som försöker analysera det mänskliga ickeverbala beteendet är dock monomodala och fokuserar bara på ansiktet. Forskning som syftar till att integrera gester som ett uttrycksmedel har först nyligen kommit fram. I detta dokument presenteras därför en metod för automatisk visuell igenkänning av uttrycksfulla ansikts- och överkroppsgester från videosekvenser som lämpar sig för användning i en visionsbaserad affektiv multimodal ram. Ansikts- och kroppsrörelser fångas samtidigt med hjälp av två separata kameror. För varje videosekvens väljs enstaka expressiva ramar både från ansikte och kropp manuellt för analys och igenkännande av känslor. För det första utbildas enskilda klassiatorer utifrån individuella metoder. För det andra smälter vi samman ansiktsuttryck och affektiv kroppsgesten information på funktionen och på beslutsnivå. I de experiment som utfördes uppnådde känsloklassificeringen med hjälp av de två metoderna en bättre igenkänningsnoggrannhet som överträffade klassificeringen enbart med hjälp av den individuella ansikts- eller kroppsmetoden.
Gunes och Piccardi REF till exempel sammansmälta på olika nivåer ansiktsuttryck och kroppsgester information för bimodal känsla erkännande.
Bi-modal emotion recognition from expressive face and body gestures
{'venue': 'J. Netw. Comput. Appl.', 'journal': 'J. Netw. Comput. Appl.', 'mag_field_of_study': ['Computer Science']}