Talförstärkning (SE) syftar till att minska buller i talsignaler. De flesta SE-tekniker fokuserar bara på att adressera ljudinformation. I detta dokument, inspirerat av multimodalt lärande, som använder data från olika metoder, och den senaste tidens framgång för konvolutionella neurala nätverk (CNN) i SE, föreslår vi en audiovisuell djup CNN (AVDCNN) SE-modell, som införlivar ljud och visuella strömmar i en enhetlig nätverksmodell. Vi föreslår också en multitask inlärningsram för att rekonstruera ljud och visuella signaler vid utdataskiktet. Just den föreslagna AVDCNN-modellen är uppbyggd som ett audiovisuellt enkoder-dekoder-nätverk, där ljud- och bilddata först bearbetas med hjälp av enskilda CNN, och sedan smälts till ett gemensamt nätverk för att generera förbättrat tal (den primära uppgiften) och rekonstruerade bilder (den sekundära uppgiften) vid utdataskiktet. Modellen tränas på ett end-to-end sätt, och parametrar lärs gemensamt genom bakutbredning. Vi utvärderar ökat tal med hjälp av fem instrumentala kriterier. Resultaten visar att AVDCNN-modellen ger en särskilt överlägsen prestanda jämfört med en ljudbaserad CNN-baserad SE-modell och två konventionella SE-strategier, vilket bekräftar effektiviteten av att integrera visuell information i SE-processen. Dessutom överträffar AVDCNN-modellen också en befintlig audiovisuell SE-modell, vilket bekräftar dess förmåga att effektivt kombinera ljud- och bildinformation i SE. Index Terms-Audio-visuella system, djupa konvolutionella neurala nätverk, multimodalt lärande, talförbättring.
Hou m.fl. REF föreslog en talförstärkningsteknik för att minska bullret i taldata.
Audio-Visual Speech Enhancement Using Multimodal Deep Convolutional Neural Networks
{'venue': 'IEEE Transactions on Emerging Topics in Computational Intelligence', 'journal': 'IEEE Transactions on Emerging Topics in Computational Intelligence', 'mag_field_of_study': ['Computer Science']}