Att tillfälligt lokalisera åtgärder i en video är en grundläggande utmaning i videoförståelse. De flesta befintliga metoder har ofta hämtat inspiration från detektering av bildobjekt och utökat framstegen, t.ex. SSD och Snabbare R-CNN, för att producera timliga platser för en åtgärd i en 1D-sekvens. Ändå kan resultaten lida av robusthet problem på grund av utformningen av förutbestämda temporal skalor, som förbise den timliga strukturen av en åtgärd och begränsar nyttan med att upptäcka åtgärder med komplexa variationer. I detta dokument föreslår vi att man tar itu med problemet genom att introducera Gaussiska kärnor för att dynamiskt optimera tidsskalan för varje åtgärdsförslag. Särskilt presenterar vi Gaussian Temporal Awareness Networks (GTAN) en ny arkitektur som nyligen integrerar exploateringen av temporal struktur i en en-steg handling localization ram. Tekniskt modellerar GTAN tidsstrukturen genom att lära sig en uppsättning Gaussiska kärnor, var och en för en cell i funktionskartorna. Varje Gaussisk kärna motsvarar ett visst intervall i ett åtgärdsförslag och en blandning av Gaussiska kärnor kan ytterligare karakterisera åtgärdsförslag med olika längd. Dessutom återspeglar värdena i varje Gaussisk kurva de kontextuella bidragen till lokaliseringen av ett åtgärdsförslag. Omfattande experiment utförs på både THUMOS14 och ActivityNet v1.3 datauppsättningar, och överlägsna resultat rapporteras när man jämför med state-of-the-art metoder. Mer anmärkningsvärt, GTAN uppnå 1,9% och 1,1% förbättringar i mAP på testning uppsättning av de två dataset.
GTAN REF lär sig en uppsättning Gaussiska kärnor som används för att förutsäga intervall av åtgärder på ett enda steg.
Gaussian Temporal Awareness Networks for Action Localization
{'venue': '2019 IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR)', 'journal': '2019 IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR)', 'mag_field_of_study': ['Computer Science']}