Frågebaserad ögonblickssökning syftar till att lokalisera det mest relevanta ögonblicket i en otrimmad video enligt den givna naturliga språkfrågan. Befintliga verk fokuserar ofta bara på en aspekt av denna nya uppgift, såsom inlärning av frågerepresentation, videokontextmodellering eller multimodal fusion, och lyckas därför inte utveckla ett omfattande system för ytterligare prestandaförbättringar. I detta dokument introducerar vi en ny Cross-Modal Interaction Network (CMIN) för att överväga flera avgörande faktorer för denna utmanande uppgift, bland annat 1) den syntaktiska strukturen hos frågor om naturligt språk, 2) semantiska beroenden på lång sikt i videosammanhang och 3) tillräcklig tvärmodal interaktion. I synnerhet, vi utformar en syntaktisk GCN för att utnyttja den syntaktiska strukturen av frågor för finkornig representation lärande, föreslå en multi-head själv-attention för att fånga långdistans semantiska beroenden från video sammanhang, och nästa använda en flerstegs cross-modal interaktion för att utforska potentiella relationer video och frågeinnehåll. De omfattande experimenten visar hur effektiv vår föreslagna metod är. Vår kärnkod har släppts på https://github.com/ikuinen/CMIN. • Informationssystem → Novelty i informationssökning. Fråga-baserad ögonblickshämtning; syntaktisk GCN; multi-head selfattention; flerstegs cross-modal interaktion ACM Referensformat:
Den Cross-Modal Interaction Network (CMIN) REF ) ger en multi-head själv-attention mekanism för att fånga långdistans beroenden i videor och en syntaktisk GCN för att få finkorniga frågor representationer.
Cross-Modal Interaction Networks for Query-Based Moment Retrieval in Videos
{'venue': 'SIGIR, 2019, pages 655-664', 'journal': None, 'mag_field_of_study': ['Computer Science']}