En stor utmaning för videotextning är att kombinera ljud och visuella signaler. Befintliga multimodala fusionsmetoder har visat uppmuntrande resultat i videoförståelse. Det är dock sällan man utforskar de tidsmässiga strukturerna för flera olika former vid olika granulariteter, och hur man selektivt kan förena de multimodala representationerna på olika detaljnivåer förblir outforskade. I detta dokument föreslår vi en ny hierarkiskt anpassad ram för cross-modal uppmärksamhet (HACA) för att lära sig och selektivt förena både global och lokal temporal dynamik av olika former. Dessutom, för första gången, validerar vi den överlägsna prestandan av de djupa ljudfunktionerna på videotextning uppgift. Slutligen överträffar vår HACA-modell betydligt de tidigare bästa systemen och uppnår nya toppmoderna resultat på den allmänt använda MSR-VTT-datauppsättningen.
Wang m.fl. REF introducerar ett hierarkiskt kodare-dekoder-nätverk för att anpassa sig till de uppmärksamma representationerna av flera former, och sammansmälta både globala och lokala sammanhang för varje modalitet för video förståelse och meningsgenerering.
Watch, Listen, and Describe: Globally and Locally Aligned Cross-Modal Attentions for Video Captioning
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Computer Science']}