Multimodal människa beteendeanalys är en utmanande uppgift på grund av förekomsten av komplexa icke-linjära korrelationer och interaktioner mellan olika modaliteter. Vi presenterar ett nytt förhållningssätt till detta problem baserat på Kernel Canonical Correlation Analysis (KCCA) och Multi-view Dold Conditional Random Fields (MV-HCRF). Vårt tillvägagångssätt använder en icke-linjär kärna för att kartlägga multimodala data till ett högdimensionellt funktionsutrymme och finner en ny projektion av data som maximerar korrelationen mellan olika modaliteter. Vi använder en flerkedjig strukturerad grafisk modell med separata uppsättningar av latenta variabler, en uppsättning per modalitet, för att gemensamt lära sig både vy-delad och vy-specifika understrukturer av de projicerade data, fånga interaktion mellan olika modaliteter explicit. Vi utvärderar vår strategi för en uppgift av överenskommelse och oenighet erkännande från icke-verbal audio-visuella signaler med hjälp av Canal 9 dataset. Experimentella resultat visar att KCCA gör det lättare att fånga ickelinjär dold dynamik och MV-HCRF hjälper till att lära sig interaktion mellan olika metoder.
REF utforskade interaktionen mellan visuella och ljudmässiga modaliteter genom människabeteendeanalys med hjälp av Kernel-CCA och Multi-view Dold CRF.
Multimodal human behavior analysis: learning correlation and interaction across modalities
{'venue': "ICMI '12", 'journal': None, 'mag_field_of_study': ['Computer Science']}