Automatiskt generera ett naturligt språk mening för att beskriva innehållet i en inmatningsvideo är ett mycket utmanande problem. Det är en viktig multimodal uppgift där hörsel och visuellt innehåll är lika viktiga. Även om ljudinformation har utnyttjats för att förbättra videotextning i tidigare verk, är det vanligtvis betraktas som en extra funktion matas in i en svart låda fusionsmaskin. Hur är orden i de skapade meningarna förknippade med hörsel och visuella metoder? Problemet är fortfarande inte utrett. I det här dokumentet gör vi det första försöket att utforma ett tolkningsbart audiovisuellt bildnätverk för att upptäcka sambandet mellan ord i meningar och audiovisuella sekvenser. För att uppnå detta föreslår vi en multimodal konvolutionell neural nätverksbaserad audio-visuell videotextram och inför en modalitetsmedveten modul för att utforska valet av modalitet under generering av meningar. Dessutom samlar vi in nya ljudtexter och visuella bildtexter för att ytterligare utforska samspelet mellan auditiva och visuella metoder för videoförståelse på hög nivå. Omfattande experiment visar att modalitetsmedveten modul gör vår modell tolkningsbar på modalitetsval under generering av meningar. Även med den extra tolkningsbarheten kan vårt videotextnätverk fortfarande uppnå jämförbar prestanda med de senaste toppmoderna metoderna.
En modul för att utforska modalitetsval under meningsgenerering föreslås i REF i syfte att tolka hur ord i de skapade meningarna är förknippade med ljud- och visuella villkor.
An Attempt towards Interpretable Audio-Visual Video Captioning
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Computer Science']}