Abstract-Vi föreslår ett nytt ramverk för multimodal video indexering och hämtning med hjälp av krympning optimerad riktad informationsbedömning (SODA) som likhetsmått. Den riktade informationen (DI) är en variant av den klassiska ömsesidiga informationen som försöker fånga den riktning av informationsflödet som videor naturligt besitter. Den tillämpas direkt på den empiriska sannolikhetsfördelningen av båda de audiovisuella funktionerna över på varandra följande ramar. Vi använder RASTA-PLP-funktioner för ljudfunktionsrepresentation och SIFT-funktioner för visuell funktionsrepresentation. Vi beräknar de gemensamma sannolikhetstäthet funktioner ljud och visuella funktioner för att sammanfoga funktioner från olika modaliteter. Med SODA, vi vidare uppskattar DI på ett sätt som lämpar sig för högdimensionella funktioner och liten provstorlek (stor liten ) mellan par av video-audio modaliteter. Vi visar att SODA-metoden är överlägsen i fråga om videoindexering, hämtning och aktivitetsigenkänning jämfört med de senaste metoderna såsom dolda Markov-modeller (HMM), stödvektormaskin (SVM), indexeringsutrymme (CMIS) och andra icke-kassala divergensåtgärder såsom ömsesidig information (MI). Vi demonstrerar också framgången för SODA i audio och video lokalisering och indexering/hämtning av data med missriktade villkor. Index Terms-Audio-video mönsterigenkänning, multimedia innehåll hämtning, multimodal funktion fusion, icke-linjär information flöde, översittande förebyggande, krympoptimering.
Chen och Al. REF presenterar en ömsesidig informationsvariant för att koppla samman funktioner från ljud- och videodomänen för att utföra åtgärdsigenkänning och hämtning.
Multimodal Video Indexing and Retrieval Using Directed Information
{'venue': 'IEEE Transactions on Multimedia', 'journal': 'IEEE Transactions on Multimedia', 'mag_field_of_study': ['Computer Science']}