Detta dokument fokuserar på timlig lokalisering av åtgärder i otrimmade videor. Befintliga metoder tränar normalt klassificerare för en fördefinierad förteckning över åtgärder och tillämpar dem på ett skjutbart fönster. Aktiviteter i det fria består dock av en bred kombination av aktörer, åtgärder och objekt; det är svårt att utforma en ordentlig aktivitetslista som uppfyller användarnas behov. Vi föreslår att lokalisera aktiviteter genom naturliga språkfrågor. Temporal aktivitet Lokalisering via språk (TALL) är utmanande som det kräver: (1) lämplig design av text och video representationer för att möjliggöra cross-modal matchning av åtgärder och språkfrågor; (2) förmåga att lokalisera åtgärder exakt givna funktioner från glidande fönster av begränsad granularitet. Vi föreslår en ny Cross-modal Temporal Regression Localizer (CTRL) för att gemensamt modellera textförfrågan och videoklipp, resultatjustering poäng och åtgärdsgräns regressionsresultat för kandidatklipp. För utvärdering, antar vi TaCoS dataset, och bygga en ny dataset för denna uppgift på toppen av Charades genom att lägga till mening temporal annoteringar, som kallas Charades-STA. Vi bygger också komplexa meningsförfrågningar i Charades-STA för test. Experimentella resultat visar att CTRL överträffar tidigare metoder betydligt på båda datauppsättningarna.
Gao m.fl. REF fokuserade på timlig lokalisering av åtgärder i otrimmade videor med hjälp av frågor om naturligt språk.
TALL: Temporal Activity Localization via Language Query
{'venue': '2017 IEEE International Conference on Computer Vision (ICCV)', 'journal': '2017 IEEE International Conference on Computer Vision (ICCV)', 'mag_field_of_study': ['Computer Science']}