Vi lär oss rika naturliga ljud representationer genom att dra nytta av stora mängder omärkta ljuddata som samlas in i det vilda. Vi utnyttjar den naturliga synkroniseringen mellan syn och ljud för att lära oss en akustisk representation med hjälp av två miljoner omärkta videor. Omärkt video har fördelen att den kan förvärvas ekonomiskt på massiva skalor, men innehåller användbara signaler om naturligt ljud. Vi föreslår ett student-lärare utbildningsförfarande som överför diskriminerande visuell kunskap från väletablerade visuella igenkänningsmodeller till ljudmodaliteten med omärkt video som bro. Vår ljudrepresentation ger betydande prestandaförbättringar jämfört med de senaste resultaten på standardriktmärken för akustisk scen/objektklassificering. Visualiseringar tyder på att semantik på hög nivå automatiskt dyker upp i ljudnätverket, även om det tränas utan marksanningsetiketter.
Aytar m.fl. REF föreslog att man skulle lära sig rika ljudrepresentationer från stora mängder omärkta ljud- och videodata.
SoundNet: Learning Sound Representations from Unlabeled Video
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Computer Science']}