Lokalisera ögonblick i en längre video via naturliga språkfrågor är en ny, utmanande uppgift i skärningspunkten mellan språk och video förståelse. Även om ögonblick lokalisering med naturligt språk liknar andra språk och vision uppgifter som naturligt språk objekt hämtning i bilder, moment lokalisering erbjuder en intressant möjlighet att modellera temporal beroenden och resonemang i text. Vi föreslår en ny modell som uttryckligen resonerar om olika temporalsegment i en video, och visar att temporal sammanhang är viktigt för lokalisering fraser som inkluderar temporal språk. För att jämföra om vår modell, och andra senaste video localization modeller, kan effektivt resonera om temporalt språk, samlar vi den nya TEMPORAL resonemang i video och språk (TEMPO) dataset. Vårt dataset består av två delar: ett dataset med verkliga videor och mall meningar (TEMPO -Template Language) som möjliggör kontrollerade studier av temporalspråk, och ett mänskligt språk dataset som består av temporal meningar kommenteras av människor (TEMPO -Human Language).
Senare, Hendricks et al. föreslog MLLC REF som uttryckligen resonerar om temporal klipp av en video.
Localizing Moments in Video with Temporal Language
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Computer Science']}