Vi föreslår en end-to-end djupinlärning arkitektur för ordnivå visuell taligenkänning. Systemet är en kombination av spatiotemporala konvolutionella, resterande och dubbelriktade Long Short-Term Memory nätverk. Vi tränar och utvärderar det på Lipreading In-The-Wild-riktmärket, en utmanande databas med 500-storlek målord som består av 1.28sek videoutdrag från BBC TV-sändningar. Det föreslagna nätverket uppnår ordnoggrannhet på 83,0 %, vilket ger 6,8 % absoluta förbättringar jämfört med den nuvarande toppmoderna tekniken, utan att använda information om ordgränser under utbildning eller testning.
I REF föreslås en endto-end djupgående lärande arkitektur för ordnivå visuell taligenkänning.
Combining Residual Networks with LSTMs for Lipreading
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Computer Science']}