Traditionella system för visuell taligenkänning består av två steg, utvinning och klassificering av funktioner. Nyligen har flera djupt lärande metoder presenterats som automatiskt extraherar funktioner från mun bilder och syftar till att ersätta funktionen extraktion skede. Forskningen om gemensamt lärande av egenskaper och klassificering är dock mycket begränsad. I detta arbete presenterar vi ett end-to-end visuellt taligenkänningssystem baserat på Long-Short Memory (LSTM) nätverk. Såvitt vi vet är detta den första modellen som samtidigt lär sig att extrahera funktioner direkt från pixlarna och utföra klassificering och även uppnå toppmodern prestanda i visuell talklassificering. Modellen består av två strömmar som extraherar funktioner direkt från munnen och skillnad bilder, respektive. Tidsdynamiken i varje ström modelleras av en LSTM och fusionen av de två strömmarna sker via en dubbelriktad LSTM (BLSTM). En absolut förbättring på 9,7% jämfört med baslinjen rapporteras i OuluVS2-databasen och 1,5% i CUAVE-databasen jämfört med andra metoder som använder en liknande visuell frontend.
En end-to-end visuell taligenkänningssystem baserat på Long-Short Memory (LSTM) nätverk föreslås i REF.
End-to-end visual speech recognition with LSTMS
{'venue': '2017 IEEE International Conference on Acoustics, Speech and Signal Processing (ICASSP)', 'journal': '2017 IEEE International Conference on Acoustics, Speech and Signal Processing (ICASSP)', 'mag_field_of_study': ['Computer Science']}