Abstrakt. Studsen av en studsande boll, debuten av tal som läppar öppna - när visuella och ljud händelser inträffar tillsammans, tyder det på att det kan finnas en gemensam, underliggande händelse som producerade båda signalerna. I detta dokument hävdar vi att bild- och ljudkomponenterna i en videosignal bör modelleras gemensamt med hjälp av en sammanslagen multisensorisk representation. Vi föreslår att lära sig en sådan representation på ett självövervakat sätt, genom att träna ett neuralt nätverk för att förutsäga om videoramar och ljud är tidsanpassat. Vi använder denna inlärda representation för tre tillämpningar: a) ljudkälla lokalisering, d.v.s. Visualisering av ljudkällan i en video, b) igenkännande av audiovisuella åtgärder och c) separation av ljudkällor på/utanför skärmen, t.ex. ta bort off-screen översättarens röst från en utländsk tjänstemans tal. Kod, modeller och videoresultat finns tillgängliga på vår hemsida: http://andrewowens.com/multisensory.
Genom att träna ett neuralt nätverk för att förutsäga om videoramar och ljud är temporalt anpassade REF, ljud representationer kan läras.
Audio-Visual Scene Analysis with Self-Supervised Multisensory Features
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Computer Science', 'Engineering']}