Med tanke på en otrimmig video och en mening beskrivning, temporal mening lokalisering syftar till att automatiskt bestämma start-och slutpunkter av den beskrivna meningen inom videon. Problemet är utmanande eftersom det behöver förståelse för både video och mening. Befintlig forskning använder främst en kostsam "scan och lokalisera" ram, försummar den globala video sammanhang och de specifika detaljer inom meningar som spelar som kritiska frågor för detta problem. I detta dokument föreslår vi en ny uppmärksamhetsbaserad positionsregression (ABLR) för att lösa den timliga meningen lokalisering ur ett globalt perspektiv. För att bevara kontextinformationen kodar ABLR först både video och mening via dubbelriktade LSTM-nätverk. Sedan införs en multimodal co-attention mekanism för att generera inte bara video uppmärksamhet som återspeglar den globala videostrukturen, men också mening uppmärksamhet som belyser de avgörande detaljerna för timlig lokalisering. Slutligen är ett nytt uppmärksamhetsbaserat område regressionsnätverk utformat för att förutsäga tidskoordinaterna för meningsförfrågan från den tidigare uppmärksamheten. ABLR utbildas gemensamt i end-to-end. Omfattande experiment om datauppsättningar för ActivityNet Captions och TACoS visar både effektiviteten och ändamålsenligheten i den föreslagna ACLR-metoden.
Den uppmärksamhetsbaserade positionsregressionen (ABLR) i REF är inte beroende av förslag för att lokalisera aktiviteter.
To Find Where You Talk: Temporal Sentence Localization in Video with Attention Based Location Regression
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Computer Science']}