Ljudet av kraschande vågor, ljudet av snabba bilar-ljud förmedlar viktig information om föremålen i vår omgivning. I detta arbete visar vi att omgivningsljud kan användas som en övervakande signal för att lära sig visuella modeller. För att visa detta tränar vi ett konvolutionellt neuralt nätverk för att förutsäga en statistisk sammanfattning av ljudet i samband med en videoram. Vi visar att nätverket genom denna process lär sig en representation som förmedlar information om objekt och scener. Vi utvärderar denna representation på flera erkännande uppgifter, finner att dess prestanda är jämförbar med andra state-of-the-art oövervakade inlärningsmetoder. Slutligen visar vi genom visualiseringar att nätverket lär sig enheter som är selektiva till objekt som ofta förknippas med karakteristiska ljud. Detta dokument omfattar ett tidigare konferensdokument, Owens m.fl. (i: Europeisk konferens om datorseende, 2016b), med ytterligare experiment och diskussioner.
I REF lär de sig istället visuella modeller med omgivningsljud som scenetiketter.
Learning Sight from Sound: Ambient Sound Provides Supervision for Visual Learning
{'venue': 'International Journal of Computer Vision', 'journal': 'International Journal of Computer Vision', 'mag_field_of_study': ['Computer Science']}