Att känna igen fall på olika skalor samtidigt är en grundläggande utmaning när det gäller problem med visuell upptäckt. Medan rumslig flerskalemodellering har studerats väl i objektdetektering, är hur man effektivt tillämpar en flerskalig arkitektur på tidsbaserade modeller för aktivitetsdetektering fortfarande underexploaterad. I detta dokument identifierar vi tre unika utmaningar som måste hanteras specifikt för tidsaktivitetsdetektering jämfört med dess rumsliga motsvarighet. För att ta itu med alla dessa frågor föreslår vi Dynamic Temporal Pyramid Network (DTPN), ett nytt ramverk för aktivitetsdetektering med en flerskalig pyramidal arkitektur med tre nya konstruktioner: (1) Vi provar indatavideoramar dynamiskt med varierande ram per sekund (FPS) för att konstruera en naturlig pyramidal ingång för video av godtycklig längd. (2) Vi utformar en tvågrenig multi-scale temporal funktionshierarki för att hantera den inneboende temporal skala variationen av aktivitetsfall. (3) Vi utnyttjar vidare den tidsmässiga kontexten av aktiviteter genom att på lämpligt sätt sammanställa multi-scale funktionskartor, och visar att både lokala och globala tidsmässiga sammanhang är viktiga. Genom att kombinera alla dessa komponenter i ett enhetligt nätverk, slutar vi med en en-shot aktivitetsdetektor med enkel-pass-inferencing och end-to-end utbildning. Omfattande experiment visar att den föreslagna DTPN uppnå state-of-the-art prestanda på utmanande Actvi-tyNet dataset.
DTPN REF tar också prover ramar med olika ram per sekund (FPS) för att konstruera en naturlig pyramidal representation för godtycklig längd ingångsvideor.
Dynamic Temporal Pyramid Network: A Closer Look at Multi-Scale Modeling for Activity Detection
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Computer Science']}