Abstract-Målet med detta arbete är att känna igen fraser och meningar som talas av en talande ansikte, med eller utan ljud. Till skillnad från tidigare verk som har fokuserat på att känna igen ett begränsat antal ord eller fraser, vi hanterar läppläsning som ett open-world problem -okonstruerade naturliga språk meningar, och i de vilda videor. Våra viktigaste bidrag är: (1) vi jämför två modeller för läppavläsning, en med hjälp av en CTC förlust, och den andra med en sekvens-till-sekvens förlust. Båda modellerna är byggda på toppen av transformatorns självuppmärksamhetsarkitektur; (2) vi undersöker i vilken utsträckning läppläsning kompletterar ljudröstigenkänning, särskilt när ljudsignalen är bullrig; (3) vi introducerar och släpper offentligt en ny datauppsättning för ljud-visuell taligenkänning, LRS2-BBC, bestående av tusentals naturliga meningar från brittisk TV. Modellerna som vi tränar överträffar prestandan av allt tidigare arbete på ett läppavläsningsriktmärke dataset med en betydande marginal.
Afouras m.fl. REF föreslog också ett djupt audiovisuellt taligenkänning för att känna igen fraser och meningar som talas av ett talande ansikte med eller utan ljud.
Deep Audio-Visual Speech Recognition
{'venue': 'IEEE transactions on pattern analysis and machine intelligence', 'journal': 'IEEE transactions on pattern analysis and machine intelligence', 'mag_field_of_study': ['Computer Science', 'Medicine']}