Målet med Online Action Detection (OAD) är att upptäcka åtgärder i rätt tid och erkänna dess åtgärdskategori. Tidiga verk fokuserade på tidig åtgärd upptäckt, som effektivt formuleras som ett klassificeringsproblem i stället för online upptäckt i strömmande videor, eftersom dessa verk används delvis sett kort videoklipp som börjar i början av åtgärden. Nyligen började forskare ta itu med OAD-problemet i den utmanande miljön av otrimmade, strömmande videor som innehåller betydande bakgrundsbilder. De utvärderar dock OAD i form av per-ram märkning, som inte kräver detektion på instansnivå och inte utvärderar aktualiteten i online-detektionsprocessen. I den här artikeln utformar vi nya protokoll och mätvärden. Dessutom, för att specifikt ta itu med utmaningar med OAD i otrimmade, strömmande videor, föreslår vi tre nya metoder: (1) vi utformar en hård negativ provgenerering modul baserad på Generative Adversarial Network (GAN) ram för att bättre skilja tvetydiga bakgrundsbilder som delar liknande scener men saknar verkliga egenskaper åtgärd start; (2) under utbildningen vi införa en tidsmässig konsekvens begränsning mellan data runt åtgärd start och data efterföljande åtgärder börjar modellera sin likhet; (3) vi inför en adaptiv provtagningsstrategi för att hantera bristen på viktiga träningsdata runt åtgärd start. Vi utför omfattande experiment med THUMOS'14 och ActivityNet. Vi visar att våra föreslagna strategier leder till betydande resultatvinster och förbättrar de senaste resultaten. En systematisk ablationstudie bekräftar också effektiviteten hos varje föreslagen metod.
Shou och Al. I REF identifieras starttiden för varje åtgärd med hjälp av Generative Adversarial Networks och adaptiv provtagning för att skilja mellan tvetydiga bakgrunder och uttrycklig tidsbaserad modellering kring övergångar mellan åtgärder för tidsmässig överensstämmelse.
Online Action Detection in Untrimmed, Streaming Videos - Modeling and Evaluation.
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Computer Science']}