Läppavläsning, d.v.s. taligenkänning från visuella endast inspelningar av en högtalares ansikte, kan uppnås med en bearbetning pipeline baserad enbart på neurala nätverk, vilket ger betydligt bättre noggrannhet än konventionella metoder. Feedfore och återkommande neurala nätverkslager (nämligen Long Short-Term Memory; LSTM) staplas för att bilda en enda struktur som tränas genom back-propagating felgradienter genom alla lager. Prestandan hos ett sådant staplat nätverk utvärderades experimentellt och jämfördes med en standard Support Vector Machine klassificering med konventionella datorseende funktioner (Eigenlips och histogram av Orienterade Gradients). Utvärderingen gjordes på data från 19 talare av den offentligt tillgängliga GRID corpus. Med 51 olika ord att klassificera rapporterar vi en bästa ordnoggrannhet på hållna utvärderingshögtalare på 79,6% med hjälp av den end-toend neurala nätverksbaserade lösningen (11,6% förbättring jämfört med den bästa funktionsbaserade lösningen utvärderad).
I REF lyckas läppavläsningen med en processledning, baserad enbart på neurala nätverk.
Lipreading with long short-term memory
{'venue': '2016 IEEE International Conference on Acoustics, Speech and Signal Processing (ICASSP)', 'journal': '2016 IEEE International Conference on Acoustics, Speech and Signal Processing (ICASSP)', 'mag_field_of_study': ['Computer Science']}