Abstrakt. Att uppfatta en scen kräver alla sinnen. Ändå är modellering av hur objekt ser ut och ljud utmanande: de flesta naturliga scener och händelser innehåller flera objekt, och ljudspåret blandar alla ljudkällor tillsammans. Vi föreslår att lära oss audiovisuella objektmodeller från omärkt video, och sedan utnyttja det visuella sammanhanget för att utföra ljudkälla separation i nya videor. Vår strategi bygger på en djup multi-instance multi-label lärande ram för att lösgöra ljudfrekvens baser som karta till enskilda visuella objekt, även utan att observera / höra dessa objekt i isolering. Vi visar hur de återvunna lösliga baser kan användas för att styra ljudkälla separation för att få bättre separerade, objekt-nivå ljud. Vårt arbete är det första att lära sig ljudkälla separation från storskaliga "i det vilda" videor som innehåller flera ljudkällor per video. Vi får toppmoderna resultat på visuellt assisterad ljudkälla separation och ljud denoising. Våra videoresultat:
Gao m.fl. REF formulerar ett nytt problem med separering av ljudkällor med hjälp av en multiinstance multi-label lärram.
Learning to Separate Object Sounds by Watching Unlabeled Video
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Computer Science', 'Engineering']}