Abstract-Speech enhancement (SE) syftar till att minska buller i talsignaler. De flesta SE-tekniker fokuserar enbart på att adressera ljudinformation. I detta arbete, inspirerat av multimodalt lärande, som använder data från olika metoder, och den senaste tidens framgång för konvolutionella neurala nätverk (CNN) i SE, föreslår vi en audiovisuell djup CNN (AVDCNN) SE-modell, som införlivar ljud och visuella strömmar i en enhetlig nätverksmodell. I den föreslagna AVDCNN SE-modellen behandlas ljud- och bilddata först med hjälp av enskilda CNN, och sedan smälts till ett gemensamt nätverk för att generera ökat tal vid utdatalagret. AVDCNN-modellen utbildas på ett end-to-end sätt, och parametrar lärs gemensamt genom back-propagation. Vi utvärderar ökat tal med hjälp av fem objektiva kriterier. Resultaten visar att AVDCNN ger betydligt bättre prestanda jämfört med en ljudbaserad CNN-baserad SE-modell och två konventionella SE-strategier, vilket bekräftar effektiviteten i att integrera visuell information i SE-processen. Index Terms-Audio-visuella system, bilmiljö, djupa konvolutionella neurala nätverk, multimodalt lärande, talförbättring.
Hou m.fl. REF föreslår djupa konvolutionella neurala nätverk (CNN)-baserade modeller för att förbättra bullriga tal.
Audio-Visual Speech Enhancement based on Multimodal Deep Convolutional Neural Network
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Computer Science', 'Mathematics']}