Abstrakt. I den här artikeln introducerar vi ett nytt problem med audiovisuella evenemangs lokalisering i okonstruerade videor. Vi definierar en audiovisuell händelse som en händelse som är både synlig och hörbar i ett videosegment. Vi samlar en Audio-Visual Event (AVE) dataset för att systemiskt undersöka tre timliga lokaliseringsuppgifter: övervakad och svagt övervakad audio-visuell händelse lokalisering, och cross-modality localization. Vi utvecklar en audiostyrd visuell uppmärksamhetsmekanism för att utforska audiovisuella samband, föreslå ett dubbelt multimodalt nätverk (DMRN) för att samla information över de två metoderna, och införa ett audiovisuellt nätverk för distansundervisning för att hantera cross-modality lokalisering. Våra experiment stödjer följande resultat: gemensam modellering av hörsel- och visuella metoder överträffar oberoende modellering, den inlärda uppmärksamheten kan fånga semantik av ljudande objekt, timlig anpassning är viktig för audio-visuell fusion, den föreslagna DMRN är effektiv för att sammanfläta audiovisuella funktioner, och starka korrelationer mellan de två metoderna möjliggör cross-modality localization.
REF tog itu med problemet med Audio-Visual Event localization.
Audio-Visual Event Localization in Unconstrained Videos
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Computer Science']}