Detektion av talaktivitet (SAD) är ett viktigt förbearbetningssteg för ett talbaserat system. Prestanda hos konventionella SAD-system (A-SAD) är nedsatt av akustiskt buller när de används i praktiska tillämpningar. En alternativ metod för att ta itu med detta problem är att inkludera visuell information och skapa lösningar för att upptäcka audiovisuell talaktivitet (AV-SAD). I vårt tidigare arbete föreslog vi att bygga ett AV-SAD-system med hjälp av bimodala återkommande neurala nätverk (BRNN). Detta ramverk kunde fånga de uppgiftsrelaterade egenskaperna i ljud- och visuella ingångar, och modellera den timliga informationen inom och över olika modaliteter. Metoden byggde på ett långvarigt korttidsminne (LSTM). Även om LSTM kan modellera längre tidsberoenden med cellerna, är det effektiva minnet av enheterna begränsat till några få ramar, eftersom den återkommande anslutningen endast beaktar den tidigare ramen. För SAD-system är det viktigt att modellera längre tidsmässiga beroenden för att fånga den semiperiodiska karaktären av tal som förmedlas i akustiska och oraciala egenskaper. I denna studie föreslås att man inför ett BRNN-baserat AV-SAD-system med avancerade LSTM (A-LSTMs), som övervinner denna begränsning genom att inkludera flera anslutningar till ramar i det förflutna. Resultaten visar att det föreslagna ramverket avsevärt kan överträffa BRNN-systemet med de ursprungliga LSTM-lagren.
I REF användes liknande funktioner men en modifierad LSTM som tar hand om längre tidsberoenden genom att inkludera flera anslutningar till ramar i det förflutna.
Audiovisual Speech Activity Detection with Advanced Long Short-Term Memory
{'venue': 'INTERSPEECH', 'journal': None, 'mag_field_of_study': ['Computer Science']}