Mikrofoner och kameror har i stor utsträckning använts för att observera och upptäcka mänsklig aktivitet och för att underlätta naturliga sätt att interagera mellan människor och intelligenta system. Mänsklig hjärna bearbetar ljud- och videomodaliteter som extraherar kompletterande och robust information från dem. Intelligenta system med audiovisuella sensorer bör kunna uppnå liknande mål. Strategin för audiovisuell informationsfusion är en viktig del i utformningen av sådana system. I detta dokument undersöker vi uteslutande de fusionstekniker som används i olika audiovisuella informationsfusioner. Den fusionsstrategi som används tenderar att främst bero på modellen, probabilistisk eller på annat sätt, som används i den särskilda uppgiften att bearbeta sensorisk information för att erhålla semantisk information på högre nivå. Modellerna själva är uppgiftsorienterade. I detta dokument beskriver vi fusionsstrategierna och motsvarande modeller som används i audiovisuella uppgifter såsom taligenkänning, spårning, biometriska uppgifter, affektivt statsigenkänning och analys av mötesplatser. Vi ser också över utmaningarna och de befintliga lösningarna och även olösta eller delvis lösta frågor inom dessa områden. Vi diskuterar specifikt etablerade och kommande arbeten inom hierarkiska fusionsstrategier och teknik för crossmodal inlärning och identifierar dessa som kritiska forskningsområden i den framtida utvecklingen av intelligenta system.
En undersökning av omfattande studier av intelligenta system med ljud- och visuella gränssnitt finns i REF.
Audiovisual Information Fusion in Human–Computer Interfaces and Intelligent Environments: A Survey
{'venue': 'Proceedings of the IEEE', 'journal': 'Proceedings of the IEEE', 'mag_field_of_study': ['Computer Science']}