Vi undersöker den utmanande frågan om gemensam audiovisuell analys av generiska videor med inriktning på semantisk konceptdetektering. Vi föreslår att extrahera en ny representation, den kortsiktiga Audio-Visual Atom (S-AVA), för förbättrad konceptdetektering. En S-AVA definieras som ett kortsiktigt regionspår kopplat till regionala visuella funktioner och bakgrundsljudfunktioner. En effektiv algoritm, som heter ShortTerm Region tracking med gemensam Point Tracking och Region Segmentation (STR-PTRS), är utvecklad för att extrahera S-AVAs från generiska videor under utmanande förhållanden såsom ojämn belysning, skräp, ocklusioner, och komplicerade rörelser av både objekt och kamera. Diskriminativa audiovisuella codebooks är konstruerade ovanpå S-AVAs med hjälp av Multiple Incides Learning. Codebook-baserade funktioner genereras för semantisk konceptdetektering. Vi utvärderar i stor utsträckning vår algoritm över Kodaks konsumentriktmärke videouppsättning från riktiga användare. Experimentella resultat bekräftar betydande prestandaförbättringar - över 120% MAP-vinst jämfört med alternativa tillvägagångssätt med statisk regionsegmentering utan tidsspårning. De gemensamma audiovisuella funktionerna överträffar också visuella funktioner enbart med ett genomsnitt på 8,5 % (uttryckt i AP) över 21 koncept, med många begrepp som uppnår mer än 20 %.  Kategorier och ämnesdeskriptorer Allmänna termer Algoritmer, Experimentation Semantisk konceptdetektering, gemensam audiovisuell analys, kortsiktig audiovisuell atom, audiovisuell kodbok Tillstånd att göra digitala eller hårda kopior av hela eller delar av detta arbete för personligt bruk eller klassrum beviljas utan avgift under förutsättning att kopior inte görs eller distribueras för vinst eller kommersiella fördelar och att kopior bär detta meddelande och den fullständiga citeringen på första sidan. För att kopiera på annat sätt, för att återpublicera, för att posta på servrar eller för att omfördela till listor, krävs tidigare specifik behörighet och/eller avgift. MM09, 19-24 oktober 2009, Peking, Kina. Copyright 2009 spår av en födelsedagstårta och bakgrunden födelsedagsmusik bildar en framträdande audio-visuell kö för att beskriva "födelsedag" videor. Det kortsiktiga regionspåret för en häst och det bakgrundshästlöpande fotstegsljudet ger en framträdande audiovisuell signal för konceptet "djur".
I REF föreslås en metod för att extrahera en ny representation, den kortsiktiga AudioVisual Atom (S-AVA), för förbättrad semantisk konceptdetektering i videor.
Short-term audio-visual atoms for generic video concept classification
{'venue': "MM '09", 'journal': None, 'mag_field_of_study': ['Computer Science']}