Gemensamma audiovisuella mönster finns ofta i videor och ger starka multimodala signaler för att upptäcka multimediahändelser. Men konventionella metoder i allmänhet sammansmälta visuell och ljud information endast på en ytlig nivå, utan att tillräckligt utforska djupa inneboende gemensamma mönster. I detta dokument föreslår vi en gemensam audiovisuell bimodal representation, så kallade bimodala ord. Vi bygger först en bipartite graf till modell relation över de kvantiserade ord som extraheras från visuella och ljud modaliteter. Skiljetecken över bipartitgrafen används sedan för att konstruera de bimodala ord som avslöjar de gemensamma mönstren över olika modaliteter. Slutligen används olika pooling strategier för att omkvantifiera visuella och ljudord till bimodala ord och bilda bimodala Bag-of-Words representationer som matas till efterföljande multimedia händelse klassificerare. Vi visar experimentellt att den föreslagna multimodala funktionen uppnår statistiskt signifikanta prestandavinster jämfört med metoder som enbart använder individuella visuella och ljudrelaterade funktioner och alternativa multimodala fusionsmetoder. Dessutom fann vi att genomsnittlig poolning är den lämpligaste strategin för bimodal funktionsgenerering.
Vid upptäckt av videohändelser, Ye et al. REF modell förhållandet mellan ljud och visuella metoder i en bipartit graf följt av en partitionering över denna graf för att avslöja gemensamma mönster.
Joint audio-visual bi-modal codewords for video event detection
{'venue': "ICMR '12", 'journal': None, 'mag_field_of_study': ['Computer Science']}