I detta dokument presenterar vi metoder för djupt multimodalt lärande för sammansmältning av tal och visuella metoder för ljud-visuell automatisk taligenkänning (AV-ASR). För det första studerar vi ett tillvägagångssätt där enmodala djupa nätverk utbildas separat och deras slutliga dolda lager sammansmälta för att få en gemensam funktion utrymme där ett annat djupt nätverk byggs. Medan enbart ljudnätverket uppnår en felfrekvens (PER) på 41% under rent skick på IBM stora ordförråd audio-visuella studio dataset, denna fusion modell uppnår en PER på 35.83% visar det enorma värdet av den visuella kanalen i telefonklassificering även i ljud med hög signal-brusförhållande. För det andra presenterar vi en ny djup nätverksarkitektur som använder ett bilinjärt softmax-skikt för att ta hänsyn till klassspecifika korrelationer mellan modaliteter. Vi visar att en kombination av de bakre delarna från de bilinjära nätverken med de från den sammanslagna modellen som nämns ovan resulterar i en ytterligare betydande minskning av felfrekvensen i telefonen, vilket ger en slutlig PER på 34,03 %.
I REF föreslås vissa djupa multimodala inlärningsmetoder för att förena tal och visuella metoder i ett AVSR-system.
Deep multimodal learning for Audio-Visual Speech Recognition
{'venue': '2015 IEEE International Conference on Acoustics, Speech and Signal Processing (ICASSP)', 'journal': '2015 IEEE International Conference on Acoustics, Speech and Signal Processing (ICASSP)', 'mag_field_of_study': ['Computer Science']}