Abstract-Multimodal uppmärksamhet är ett viktigt krav för humanoida robotar för att navigera i komplexa miljöer och fungera som sociala, kognitiva mänskliga partner. I detta syfte, robotar måste införliva uppmärksamhetsmekanismer som fokuserar bearbetningen på den potentiellt mest relevanta stimuli samtidigt styra sensororienteringen för att förbättra uppfattningen av dessa stimuli. I det här dokumentet presenterar vi vårt införande av audiovisuellt stödbaserad uppmärksamhet som vi har integrerat i ett system för kunskapsdriven audiovisuell scenanalys och objektbaserad världsmodellering. För detta ändamål introducerar vi en ny isofotbaserad metod för proto-objekt segmentering av saliencykartor, en överraskningsbaserad auditiv saliency definition, och en parametrisk 3D-modell för multimodal saliency fusion. Det föreslagna systemets tillämplighet visas i en rad experiment. Index Terms-audio-visual saliency, auditiv överraskning, isofotbaserade visuella proto-objekt, parametrisk 3-D saliency modell, objektbaserad hämning av återkomst, multimodal uppmärksamhet, scenutforskning, hierarkisk objektanalys, overt uppmärksamhet, aktiv perception
I detta syfte införde vi hörselöverraskning i REF, som bygger på den ackumulerade Bayesianska överraskningen [19] av alla frekvenser.
Multimodal saliency-based attention for object-based scene analysis
{'venue': '2011 IEEE/RSJ International Conference on Intelligent Robots and Systems', 'journal': '2011 IEEE/RSJ International Conference on Intelligent Robots and Systems', 'mag_field_of_study': ['Computer Science']}