Vi undersöker klassificering av icke-språklig vokalisering med ett nytt audiovisuellt förhållningssätt och Long Short-Term Memory (LSTM) Recurrent Neural Networks som mycket framgångsrika dynamiska sekvensklassare. Som databas av utvärdering tjänar årets Paralinguistic Challenge audiovisuella intresse Corpus av mänskliga-till-mänskliga naturliga samtal. För videobaserad analys jämför vi form- och utseendebaserade funktioner. Dessa blandas på ett tidigt sätt med typiska ljuddeskriptorer. Resultaten visar på betydande förbättringar av LSTM-nätverk genom ett statiskt tillvägagångssätt baserat på Support Vector Machines. Viktigare, kan vi visa en betydande vinst i prestanda när man sammanställer ljud och visuella form funktioner.
Eyben m.fl. REF använde den för audiovisuell klassificering av sångutbrott i mänskliga samtal och resultaten visade betydande förbättringar jämfört med en statisk metod baserad på SVM.
Audiovisual classification of vocal outbursts in human conversation using Long-Short-Term Memory networks
{'venue': '2011 IEEE International Conference on Acoustics, Speech and Signal Processing (ICASSP)', 'journal': '2011 IEEE International Conference on Acoustics, Speech and Signal Processing (ICASSP)', 'mag_field_of_study': ['Computer Science', 'Engineering']}