Abstract-En ny modell presenteras för att lära sig bimodalt informativa strukturer från audiovisuella signaler. Signalen representeras som en gles summa av audiovisuella kärnor. Varje kärna är en bimodal funktion som består av synkrona sipprar av en ljudvågsform och en spatio-temporal visuell basfunktion. För att representera en audiovisuell signal kan kärnorna placeras oberoende och godtyckligt i rum och tid. Den föreslagna algoritmen använder oövervakad inlärning för att bilda ordböcker av bimodala kärnor från audiovisuellt material. De basfunktioner som uppstår under inlärning fånga framträdande audio-visuella datastrukturer. Dessutom visas det att den lärda ordboken kan användas för att lokalisera ljudkällor i filmramen. Speciellt, i sekvenser som innehåller två högtalare, algoritmen kan robust lokalisera en högtalare även i närvaro av allvarliga akustiska och visuella distraherare. Index Terms-Audio-visuell källa lokalisering, ordbok lärande, matchande jakt (MP), multimodal databehandling, gles representation. Alternativt har vi nyligen föreslagit en annan strategi för sensorfusion [26]. Tanken är att analysera de audiovisuella data gemensamt genom att extrahera typiska mallar för audiovisuella funktioner; se bild. 1 till exempel. Dessa mallar representerar synkrona transienta strukturer som förekommer i båda fallen. Enkel mallmatchning kan sedan användas för att lösa sensorfusionsuppgifter, såsom högtalarlokalisering. Den audiovisuella mallen i bild. 1 extraherades från en film som visar en högtalare: ljuddelen är vågformen av en talad siffra på engelska, medan motsvarande video del visar en rörlig kant som kan representera den nedre läppen under uttalande av siffran. Den direkta utvinningen av audiovisuella mallar är intressant eftersom den fokuserar på relevant bimodal struktur snarare än att först beräkna de fullständiga representationerna i båda metoderna separat och sedan analysera den gemensamma statistiken över funktioner. Algoritmens effektivitet i [26] var dock begränsad eftersom extrahering och matchning av mallar är spröd i närvaro av oavsiktliga superpositioner av separata transienta strukturer. Här presenterar vi en ny modell för audiovisuell fusion som kombinerar fördelarna med gemensam bimodal signalanalys [26] och sparsam kodning, t.ex. [27]-[32]. För att kombinera de två tillvägagångssätten bygger vi på tidigare arbete som använde oövervakad inlärning av effektiva glesa koder för att förstå neuroners responsegenskaper i olika sensoriska system. Effektiv kodning 1045-9227/$26.00
I REF presenterar författarna en modell för att lära sig bimodalt informativa strukturer från audiovisuella signaler.
Learning Bimodal Structure in Audio–Visual Data
{'venue': 'IEEE Transactions on Neural Networks', 'journal': 'IEEE Transactions on Neural Networks', 'mag_field_of_study': ['Computer Science', 'Medicine']}