Videotext avser att generera en beskrivande mening för ett specifikt kort videoklipp automatiskt, som har uppnått anmärkningsvärd framgång nyligen. De flesta av de befintliga metoderna fokuserar dock mer på visuell information samtidigt som de synkroniserade ljudsignalerna ignoreras. Vi föreslår tre multimodala djupa fusionsstrategier för att maximera fördelarna med visuell-audio resonansinformation. Den första undersöker inverkan på tvärmodaliteter har fusion från låg till hög klass. Den andra fastställer det visuella-audio kortsiktiga beroendet genom att dela vikter för motsvarande front-end-nätverk. Den tredje utvidgar tidsberoendet till lång sikt genom att dela multimodalt minne över visuella och ljudmässiga villkor. Omfattande experiment har bekräftat effektiviteten av våra tre korsmodalitetsstrategier fusion på två referensdatauppsättningar, inklusive Microsoft Research Video to Text (MSRVTT) och Microsoft Video Description (MSVD). Det är värt att nämna att dela vikt kan samordna visualaudio funktion fusion effektivt och uppnå state-of-art prestanda på både BELU och METEOR mätvärden. Dessutom föreslår vi först en dynamisk ram för multimodal fusion för att hantera de delar som saknas. Experimentella resultat visar att även i ljud frånvaro-läge, kan vi fortfarande få jämförbara resultat med hjälp av den ytterligare ljud modalitet inference modul.
Hao och al. REF presenterar multimodala fusionsstrategier för att maximera fördelarna med visuell-audio resonansinformation.
Integrating both Visual and Audio Cues for Enhanced Video Caption
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Computer Science']}