Läppläsning är uppgiften att avkoda texten från en talares rörelse. Traditionella metoder separerade problemet i två steg: designa eller lära visuella funktioner, och förutsägelse. Senare djupa läppläsning metoder är end-to-end trainingable (Wand et al., 2016; Chung & Zisserman, 2016a). Befintligt arbete på modeller utbildade end-to-end utför dock endast ordklassificering, snarare än mening-nivå sekvens förutsägelse. Studier har visat att mänsklig läppavläsning prestanda ökar för längre ord (Easson & Basala, 1982), vilket visar vikten av funktioner fånga temporal sammanhang i en tvetydig kommunikationskanal. Motiverade av denna observation presenterar vi LipNet, en modell som kartlägger en sekvens av videoramar med varierande längd till text, med användning av spatiotemporala konvolutioner, ett återkommande nätverk, och den tidsbundna klassifikationsförlusten, tränade helt end-to-end. Såvitt vi vet, LipNet är den första end-to-end mening nivå läppavläsning modell som samtidigt lär sig spatiotemporala visuella funktioner och en sekvensmodell. På GRID corpus, LipNet uppnår 95,2% noggrannhet i mening-nivå, överlappande högtalare split uppgift, bättre erfarna mänskliga läppläsare och den tidigare 86,4% ord-nivå state-of-the-art noggrannhet (Gergen et al., 2016).
LipNet REF var den första end-to-end-modellen för att hantera läppavläsning på meningsnivå genom att förutsäga teckensekvenser.
LipNet: End-to-End Sentence-level Lipreading
{'venue': None, 'journal': None, 'mag_field_of_study': ['Computer Science']}