Abstract Audio-visuell taligenkänning (AVSR) system tros vara en av de mest lovande lösningarna för tillförlitlig taligenkänning, särskilt när ljudet korrumperas av buller. Dock är ett försiktigt urval av sensoriska egenskaper avgörande för att uppnå hög igenkännande prestanda. I maskininlärning samhället, djupt lärande strategier har nyligen lockat till sig ökad uppmärksamhet eftersom djupa neurala nätverk effektivt kan extrahera robust latenta funktioner som gör det möjligt för olika igenkänning algoritmer att demonstrera revolutionerande generalisering kapacitet under olika tillämpningsförhållanden. I denna studie introduceras ett anslutningssystem som är dolt för Markov (HMM) för buller-robust AVSR. Först, en djup denoiserande autoencoder används för att förvärva buller-robust ljudfunktioner. Genom att förbereda träningsdata för nätverket med par av på varandra följande flera steg av försämrade ljudfunktioner och motsvarande rena funktioner, tränas nätverket till utdata denoiserade ljudfunktioner från motsvarande funktioner som försämrats av buller. För det andra används ett konvolutionellt neuralt nätverk (CNN) för att extrahera visuella funktioner från råa munområdet bilder. Genom att förbereda träningsdata för CNN som par av råa bilder och motsvarande phoneme etikettutgångar, tränas nätverket för att förutsäga phoneme etiketter från motsvarande munområdet inmatningsbilder. Slutligen tillämpas en multi-stream HMM (MSHMM) för att integrera förvärvade ljud och visuella HMMs självständigt utbildade med respektive funktioner. Genom att jämföra de fall då normala och denoiserade mel-frekventa ceptralkoefficienter (MFCC) används som ljudfunktioner till HMM, visar våra isolerade igenkänningsresultat att ca 65 % word igenkänningsgrad uppnås med denoiserade MFCCs under 10 dB signal-to-bruse-ratio (SNR) för ljudsignalingången. Dessutom visar våra multimodala isolerade ordigenkänningsresultat som använder MSHMM med denoiserade MFCC och förvärvade visuella egenskaper att en ytterligare värdeökning uppnås för SNR-förhållandena under 10 dB.
REF använder förtränade CNN för att extrahera visuella funktioner och denoising autoencoders för att förbättra aurala funktioner, och sedan mHMMs för att göra fusion och klassficering.
Audio-visual speech recognition using deep learning
{'venue': 'Applied Intelligence', 'journal': 'Applied Intelligence', 'mag_field_of_study': ['Computer Science']}