Tidigare forskning om automatisk skrattdetektering har främst fokuserats på ljudbaserad detektion. I denna studie presenterar vi ett audiovisuellt synsätt för att skilja skratt från tal baserat på temporalfunktioner och vi visar att integrering av information från ljud- och videokanaler leder till bättre prestanda jämfört med enkelmodala metoder. Statiska funktioner extraheras på en audio/video ram och kombineras sedan med temporal funktioner extraheras över ett temporal fönster, som beskriver utvecklingen av statiska funktioner över tiden. Användningen av flera olika tidsmässiga egenskaper har undersökts och det har visat sig att tillägg av tidsinformation resulterar i en förbättrad prestanda jämfört med att endast använda statisk information. Det är vanligt att använda en fast uppsättning temporalfunktioner som innebär att alla statiska funktioner kommer att uppvisa samma beteende över ett temporalfönster. Detta håller dock inte alltid och vi visar att när AdaBoost används som funktionsväljare väljs olika tidsfunktioner för varje statisk funktion, dvs. den tidsmässiga utvecklingen av varje statisk funktion beskrivs med olika statistiska mått. När man testar 96 audiovisuella sekvenser, skildrar spontant (i motsats till poserade) skratt och talepisoder, på ett oberoende sätt uppnår den föreslagna audiovisuella metoden en F1-frekvens på över 89 %.
Petridis och Pantic undersökt ljud och visuella temporal funktioner för skratt upptäckt REF.
Audiovisual laughter detection based on temporal features
{'venue': "ICMI '08", 'journal': None, 'mag_field_of_study': ['Computer Science', 'Psychology']}