Visuella händelser åtföljs vanligen av ljud i vårt dagliga liv. Vi ställer frågan: Kan maskinen lära sig korrespondensen mellan visuell scen och ljud, och lokalisera ljudkällan endast genom att observera ljud och visuella scenpar som människa? I den här artikeln föreslår vi en ny oövervakad algoritm för att ta itu med problemet med att lokalisera ljudkällan i visuella scener. En två-stream nätverksstruktur som hanterar varje modalitet, med uppmärksamhet mekanism är utvecklad för ljudkälla lokalisering. Dessutom, även om vårt nätverk är formulerat inom ramen för det oövervakade lärandet, kan det utvidgas till en enhetlig arkitektur med en enkel ändring för de övervakade och halvt övervakade inlärningsinställningarna också. Samtidigt tas en ny ljudkälla dataset fram för prestandautvärdering. Vår empiriska utvärdering visar att den oövervakade metoden så småningom går igenom felaktiga slutsatser i vissa fall. Vi visar också att även med några få övervakning, dvs. semi-övervakad installation, kan falska slutsatser korrigeras effektivt.
Sedan det tillvägagångssätt vi föreslår nyligen Ref har några intressanta metoder för att lokalisera ljudkällan utvecklats.
Learning to Localize Sound Source in Visual Scenes
{'venue': '2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition', 'journal': '2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition', 'mag_field_of_study': ['Computer Science']}