Flera end-to-end djupt lärande metoder har nyligen presenterats som extraherar antingen ljud eller visuella funktioner från ingångsbilder eller ljudsignaler och utför taligenkänning. Forskningen om audiovisuella modeller från början till slut är dock mycket begränsad. I detta arbete presenterar vi en end-toend audiovisuell modell baserad på resterande nätverk och dubbelriktade Gated Recurrent Units (BGRUs). Såvitt vi vet är detta den första audiovisuella fusionsmodellen som samtidigt lär sig att extrahera funktioner direkt från bildpixlar och ljudvågor och utför inom-kontext ordigenkänning på en stor allmänt tillgänglig datauppsättning (LRW). Modellen består av två strömmar, en för varje modalitet, som extraherar funktioner direkt från muntrakter och råa vågformer. Tidsdynamiken i varje ström/modalitet modelleras av en 2-lagers BGRU och fusionen av flera strömmar/modaliteter sker via en annan 2-lagers BGRU. En liten förbättring av klassificeringshastigheten jämfört med en modell baserad på enbart ljud och MFCC rapporteras i rena ljudförhållanden och låga bullernivåer. I närvaro av höga bullernivåer överträffar den audiovisuella modellen end-to-end betydligt båda modellerna med enbart ljud.
Denna metod har utökats för att extrahera funktioner direkt från råa bilder och ljudvågformer med hjälp av ResNets och dubbelriktade GRUs REF.
C V ] 2 2 Fe b 20 18 END-TO-END AUDIOVISUAL SPEECH RECOGNITION