I detta dokument föreslås en end-to-end-strategi för enkanalig högtalaroberoende talseparation med flera högtalare, där tidsfrekvent (T-F) maskering, korttids Fouriertransform (STFT) och dess invers representeras som lager inom ett djupt nätverk. Tidigare metoder, snarare än att beräkna en förlust på den rekonstruerade signalen, använde en surrogatförlust baserat på mål STFT magnituder. Detta bortser från återuppbyggnadsfel som införts genom fasinkonsekvens. I vårt tillvägagångssätt definieras förlustfunktionen direkt på de rekonstruerade signalerna, som är optimerade för bästa separation. Dessutom utbildar vi oss genom utvecklade iterationer av en fasrekonstruktionsalgoritm, representerad som en serie av STFT- och omvänt STFT-lager. Maskvärden är vanligtvis begränsade till att ligga mellan noll och ett för metoder som använder blandningsfasen för rekonstruktion, men denna begränsning är mindre relevant om de uppskattade magnituderna ska användas tillsammans med fasrekonstruktion. Vi föreslår därför flera nya aktiveringsfunktioner för utdataskiktet i T-F-maskeringen, för att tillåta maskvärden utöver ett. På den allmänt tillgängliga wsj0-2mix-datauppsättningen uppnår vår strategi toppmoderna 12.6 dB skalainvarianta signal-till-förvrängning-förhållande (SI-SDR) och 13,1 dB SDR, vilket avslöjar nya möjligheter till djupt lärandebaserad fasrekonstruktion och utgör ett grundläggande framsteg mot att lösa det ökänt hårda cocktailpartsproblemet.
Förbättringar erhölls genom REF för spektrogram metoder med hjälp av utveckling av några iterationer av en fas rekonstruktion algoritm i träningsförlusten.
End-to-End Speech Separation with Unfolded Iterative Phase Reconstruction
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Computer Science', 'Engineering', 'Mathematics']}