Abstract-visual information från en talare mun regionen är känd för att förbättra automatisk taligenkänning robusthet. De allra flesta AVASR-studier (audiovisuell automatisk taligenkänning) utgår dock från frontalbilder av talarens ansikte. I kontrast till detta undersöker denna tidning utdraget visuell talinformation från talarens profil, och, såvitt vi vet, utgör det första verkliga försöket att angripa detta problem. Som med alla AVASR-system beror den totala igenkänningsprestandan i hög grad på den visuella fronten. Detta är särskilt fallet med profil-vy data, eftersom ansiktsfunktioner är kraftigt komprimerade jämfört med frontal scenariot. I detta dokument beskriver vi särskilt vår visuella front och rapporterar experiment på en multi-subject, liten-vokabulary, bimodal, multisensory databas som innehåller synkront fångad ljud med frontal och profil ansikte video. Våra experiment visar att AVASR är möjligt från profilvyer med måttlig prestandanedbrytning jämfört med frontalvideodata.
Lucey och Potamianos REF rapporterar en måttlig prestandanedbrytning när profilvyn används jämfört med frontvyn.
Lipreading Using Profile Versus Frontal Views
{'venue': '2006 IEEE Workshop on Multimedia Signal Processing', 'journal': '2006 IEEE Workshop on Multimedia Signal Processing', 'mag_field_of_study': ['Computer Science']}