Abstrakt. I detta papper våra mål är, först, nätverk som kan inbädda ljud och visuella ingångar i ett gemensamt utrymme som är lämplig för cross-modal hämtning; och för det andra, ett nätverk som kan lokalisera objektet som låter i en bild, med tanke på ljudsignalen. Vi uppnår båda dessa mål genom att träna från omärkt video med endast audiovisuell korrespondens (AVC) som objektiv funktion. Detta är en form av crossmodal självövervakning från video. Därför utformar vi nya nätverksarkitekturer som kan tränas för cross-modal hämtning och lokalisera ljudkällan i en bild med hjälp av AVC-uppgiften. Vi gör följande inlägg: (i) visa att ljud- och visuella inbäddningar kan läras som möjliggör både inom-läge (t.ex. ljud-till-audio) och mellan-läge hämtning; ii) utforska olika arkitekturer för AVC-uppgiften, inklusive de för den visuella ström som intar en enda bild, eller flera bilder, eller en enda bild och flera ramar optiskt flöde; iii) visa att semantiska objekt som låter inom en bild kan lokaliseras (med endast ljudet, ingen rörelse eller flöde information); och iv) ge en varning berättelse om hur man undviker oönskade genvägar i dataförberedelsen.
Metoden förfinades därefter ytterligare för cross-modal hämtning och sund lokalisering REF.
Objects that Sound
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Computer Science']}