I detta dokument föreslås en strategi för gemensam modellering av den korta Fourier transform magnitud och fasspektrogram med en djup generativ modell. Vi antar att magnituden följer en Gaussisk distribution och fasen följer en von Mises distribution. För att förbättra överensstämmelsen hos fasvärdena i tid-frekvensdomänen tillämpar vi även von Mises-distributionen på fasderivaten, dvs. gruppfördröjningen och den momentana frekvensen. Utifrån dessa antaganden utforskar och jämför vi flera kombinationer av förlustfunktioner för att träna våra modeller. Vår modell bygger på den variationella autoenkoderramen och består av tre konvolutionella neurala nätverk som fungerar som en kodare, en magnitudavkodare och en fasavkodare. Utöver de latenta variablerna föreslår vi också att fasuppskattningen ska anpassas till den uppskattade storleken. Utvärderad för en tid-domain talrekonstruktion uppgift, våra modeller skulle kunna generera tal med en hög perceptuell kvalitet och en hög begriplighet.
För att lära sig en generativ modell av komplexa spektrogram använder REF både ögonblicklig frekvens och gruppfördröjning i sina förlustfunktioner som en förlängning av gruppfördröjningsförlusten.
A Deep Generative Model of Speech Complex Spectrograms
{'venue': 'ICASSP 2019 - 2019 IEEE International Conference on Acoustics, Speech and Signal Processing (ICASSP)', 'journal': 'ICASSP 2019 - 2019 IEEE International Conference on Acoustics, Speech and Signal Processing (ICASSP)', 'mag_field_of_study': ['Computer Science', 'Engineering', 'Mathematics']}