Maskinen läppavläsning är en speciell typ av automatisk taligenkänning (ASR) som transkriberar mänskligt tal genom att visuellt tolka rörelser i relaterade ansikte regioner inklusive läppar, ansikte och tunga. Nyligen, djupa neurala nätverk baserade läppavläsningsmetoder visar stor potential och har överskridit noggrannheten hos erfarna mänskliga läppavläsningar i vissa riktmärkesdataset. Men läppläsning är fortfarande långt ifrån löst, och befintliga metoder tenderar att ha höga felfrekvenser på vilda data. I detta papper, föreslår vi LCANet, en end-to-end djupa neurala nätverk baserat läppavläsningssystem. LCANet kodar indata videoramar med hjälp av en staplad 3D-konvolutionella neurala nätverk (CNN), motorvägsnätet och dubbelriktat GRU-nätverk. Encodern fångar effektivt in både kortvarig och långsiktig spatio-temporal information. Ännu viktigare, LCANet innehåller en kaskad uppmärksamhet-CTC dekoder för att generera utgående texter. Genom kaskad CTC med uppmärksamhet, eliminerar det delvis defekten i det villkorliga oberoendet antagandet av CTC inom de dolda neurala skikten, och detta ger särskilt prestandaförbättringar samt snabbare konvergens. De experimentella resultaten visar att det föreslagna systemet uppnår en CER på 1,3 % och en WER på 3,0 % i databasen GRID corpus, vilket leder till en förbättring på 12,3 % jämfört med de senaste metoderna.
Det LCANet som föreslås i REF har använt motorvägsnätet med dubbelriktade GRU-lager efter 3D CNN-lager med kaskad uppmärksamhet-CTC för att övervinna villkorligt oberoende antagande av CTC.
LCANet: End-to-End Lipreading with Cascaded Attention-CTC
{'venue': '2018 13th IEEE International Conference on Automatic Face & Gesture Recognition (FG 2018)', 'journal': '2018 13th IEEE International Conference on Automatic Face & Gesture Recognition (FG 2018)', 'mag_field_of_study': ['Computer Science']}