Modeller för ljudkällan separation fungerar vanligtvis på magnitudspektrumet, som ignorerar fasinformation och gör separation prestanda beroende av hyperparametrar för den spektral front-end. Därför undersöker vi end-to-end källseparation i tid-domänen, vilket möjliggör modellering fasinformation och undviker fasta spektraltransformationer. På grund av hög samplingsfrekvens för ljud är det svårt att använda en lång temporal ingångskontext på provnivån, men krävs för högkvalitativa separationsresultat på grund av långa tidsmässiga korrelationer. I detta sammanhang föreslår vi Wave-U-Net, en anpassning av U-Net till den endimensionella tidsdomänen, som upprepade gånger samplar funktionskartor för att beräkna och kombinera funktioner på olika tidsskalor. Vi introducerar ytterligare arkitektoniska förbättringar, inklusive ett utdatalager som upprätthåller källadditionalitet, en uppsamplingsteknik och en kontextmedveten förutsägelseram för att minska utdataartefakter. Experiment för sångröstseparation visar att vår arkitektur ger en prestanda jämförbar med en toppmodern spektrogrambaserad U-Net-arkitektur, med tanke på samma data. Slutligen avslöjar vi ett problem med outliers i de nu använda SDR-utvärderingsmåtten och föreslår att man rapporterar rankbaserad statistik för att lindra detta problem.
Wave-U-Net, som föreslås av REF, behandlar ljuddata i tidsdomänen, och är utbildad som en djup end-to-end-modell med toppmodern prestanda.
Wave-U-Net: A Multi-Scale Neural Network for End-to-End Audio Source Separation
{'venue': '19th International Society for Music Information Retrieval Conference (ISMIR 2018)', 'journal': None, 'mag_field_of_study': ['Computer Science', 'Engineering', 'Mathematics']}