Abstrakt. Vi introducerar PixelPlayer, ett system som, genom att utnyttja stora mängder omärkta videor, lär sig att lokalisera bildregioner som producerar ljud och separera inmatningsljud till en uppsättning komponenter som representerar ljudet från varje pixel. Vårt tillvägagångssätt utnyttjar den naturliga synkroniseringen av visuella och audio modaliteter för att lära sig modeller som gemensamt tolkar ljud och bilder, utan att kräva ytterligare manuell övervakning. Experimentella resultat på en nyligen insamlad MUSIC-datauppsättning visar att vårt föreslagna Mix-and-Separate-ramverk överträffar flera baslinjer för källseparation. Kvalitativa resultat tyder på att vår modell lär sig att mala ljud i vision, vilket möjliggör tillämpningar som att självständigt justera volymen av ljudkällor.
REF introducerade PixelPlayer, ett system som lär sig att separera inmatningsljuden till en uppsättning komponenter som representerar ljudet från varje pixel.
The Sound of Pixels
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Computer Science', 'Engineering']}