Klassiska visuella uppmärksamhetsmodeller tar varken hänsyn till sociala signaler, till exempel ansikten, eller auditiva signaler, till exempel tal. Ansikten är dock kända för att fånga visuell uppmärksamhet mer än några andra visuella egenskaper, och nyligen genomförda studier visade att talvändning påverkar blicken hos icke-involverade tittare. I detta dokument föreslår vi en audiovisuell lönemodell som kan förutsäga ögonrörelserna hos observatörer som tittar på andra människor som har ett samtal. Tack vare en högtalardiariseringsalgoritm ökar vår audiovisuella soliditetsmodell talarnas betydelse jämfört med adressaterna. Vi utvärderade vår modell med eyetracking-data och fann att den avsevärt överträffar visuella uppmärksamhetsmodeller med ett lika stort och konstant värde för alla ansikten.
Genom att använda högtalare diarization algoritm REF när vikten för aktiva högtalare ökade, deras audio-visuella uppmärksamhet modell betydligt överträffade den visuella saliency modellen med lika vikter för alla ansikten.
An audiovisual attention model for natural conversation scenes
{'venue': '2014 IEEE International Conference on Image Processing (ICIP)', 'journal': '2014 IEEE International Conference on Image Processing (ICIP)', 'mag_field_of_study': ['Computer Science']}