Nya state-of-the-art metoder antar en 3D CNN ström för att lära sig spatiotemporella funktioner och en annan flöde ström för att lära sig rörelse funktioner. I detta arbete strävar vi efter att effektivt koda dessa två funktioner i ett enhetligt 2D-ramverk. I detta syfte föreslår vi först ett STM-block, som innehåller en kanalvis SpatioTemporal Module (CSTM) för att presentera spatiotemporala funktioner och en kanalvis Motion Module (CMM) för att effektivt koda rörelsefunktioner. Vi ersätter sedan original restblock i ResNet-arkitekturen med STM blcoks för att bilda ett enkelt men effektivt STM-nätverk genom att införa mycket begränsade extra beräkningskostnader. Omfattande experiment visar att det föreslagna STM-nätverket överträffar de senaste metoderna på både tidsbundna datamängder (dvs. med hjälp av kodning av spatiotemporala och rörelsemässiga funktioner tillsammans.
STM (Spatio-Temporal and Motion Encoding) REF designar två moduler, specifikt en kanalvis spatio-temporal modul för att koda spatiotemporal funktion och en kanalvis rörelsemodul för att lära sig rörelsefunktion.
STM: SpatioTemporal and Motion Encoding for Action Recognition
{'venue': '2019 IEEE/CVF International Conference on Computer Vision (ICCV)', 'journal': '2019 IEEE/CVF International Conference on Computer Vision (ICCV)', 'mag_field_of_study': ['Computer Science']}