Nyligen, skelettbaserade åtgärdsigenkänning vinner mer popularitet på grund av kostnadseffektiva djupgivare i kombination med realtid skelett uppskattning algoritmer. Traditionella tillvägagångssätt baserade på handgjorda funktioner är begränsade för att representera komplexiteten i rörelsemönster. Nya metoder som använder Recurrent Neural Networks (RNN) för att hantera råa skelett fokuserar bara på det kontextuella beroendet i tidsdomänen och försummar de rumsliga konfigurationerna av artikulerade skelett. I detta dokument föreslår vi en ny två-ströms RNN-arkitektur för att modellera både temporal dynamik och rumsliga konfigurationer för skelettbaserad åtgärdsigenkänning. Vi utforskar två olika strukturer för tidsströmmen: staplad RNN och hierarkisk RNN. Hierarkisk RNN är designad enligt mänskliga kroppskinematik. Vi föreslår också två effektiva metoder för att modellera den rumsliga strukturen genom att omvandla den rumsliga grafen till en sekvens av fogar. För att förbättra generaliseringen av vår modell utnyttjar vi ytterligare 3D-transformationsbaserade dataförstärkningstekniker inklusive rotation och skalningsomvandling för att omvandla 3D-koordinaterna för skelett under träningen. Experiment på 3D-åtgärdsigenkänningsreferensdata visar att vår metod ger en avsevärd förbättring för en mängd olika åtgärder, dvs. generiska åtgärder, interaktionsaktiviteter och gester.
Wang och Wang REF använde två-ströms recidiverande neurala nätverk, för att modellera temporal dynamik och rumsliga konfigurationer av åtgärder.
Modeling Temporal Dynamics and Spatial Configurations of Actions Using Two-Stream Recurrent Neural Networks
{'venue': '2017 IEEE Conference on Computer Vision and Pattern Recognition (CVPR)', 'journal': '2017 IEEE Conference on Computer Vision and Pattern Recognition (CVPR)', 'mag_field_of_study': ['Computer Science']}