Abstract-Speech aktivitetsdetektering (SAD) spelar en viktig roll i nuvarande talbehandlingssystem, inklusive automatisk taligenkänning (ASR). SAD är särskilt svårt i miljöer med akustiskt buller. En praktisk lösning är att införliva visuell information, vilket ökar robustheten i SAD-strategin. Ett audiovisuellt system har fördelen att vara robust för olika tallägen (t.ex. viskande tal) eller bakgrundsljud. Den senaste tidens framsteg inom audiovisuell talbehandling med hjälp av djupinlärning har öppnat möjligheter att på ett principfast sätt fånga de tidsmässiga sambanden mellan akustiska och visuella egenskaper. Denna studie undersöker denna idé föreslår en bimodal recidiverande neurala nätverk (BRNN) ram för SAD. Tillvägagångssättet modellerar tidsdynamiken för de sekventiella audiovisuella uppgifterna, vilket förbättrar noggrannheten och robustheten i det föreslagna SAD-systemet. I stället för att uppskatta handgjorda funktioner undersöker studien en end-to-end-träningsmetod, där akustiska och visuella egenskaper direkt lärs av rådata under utbildningen. I den experimentella utvärderingen behandlas en stor audiovisuell corpus med över 60,8 timmars inspelningar som samlats in från 105 talare. Resultaten visar att det föreslagna ramverket leder till absoluta förbättringar upp till 1,2 % under praktiska scenarier över en VD-baslinje med endast ljud som genomförs med djupa neurala nätverk (DNN). Det föreslagna tillvägagångssättet uppnår 92,7% F1-poäng när det utvärderas med hjälp av sensorerna från en bärbar surfplatta under bullriga akustiska miljöer, vilket är bara 1,0% lägre än den prestanda som uppnås under idealiska förhållanden (t.ex. rent tal erhålls med en högupplöst kamera och en nära-talande mikrofon).
I ett annat arbete föreslås ett audiovisuellt SAD-system i REF för att förbättra ramens robusthet.
End-to-end Audiovisual Speech Activity Detection with Bimodal Recurrent Neural Models
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Computer Science', 'Engineering']}