Skelettbaserat erkännande av mänskliga åtgärder har nyligen riktat allt större uppmärksamhet mot tillgången till storskaliga skelettdataset. De viktigaste faktorerna för denna uppgift ligger i två aspekter: den intra-frame representationen för gemensamma samtidiga händelser och den inter-frame representationen för skelettets temporal evolutioner. I detta dokument föreslår vi en end-to-end convolutional co-occurence-ram för lärande. De samtidiga inslagen lärs in med en hierarkisk metod, där olika nivåer av kontextuell information ackumuleras gradvis. För det första kodas information på punktnivå för varje led oberoende av varandra. Sedan samlas de till semantisk representation i både rumsliga och timliga domäner. Specifikt introducerar vi ett globalt rumsligt aggregeringssystem, som kan lära sig överlägsna gemensamma co-occurence funktioner över lokal aggregering. Dessutom är råa skelettkoordinater liksom deras temporal skillnad integrerade med ett två-stream paradigm. Experiment visar att vårt tillvägagångssätt konsekvent överträffar andra state-of-the-arts om åtgärdsigenkänning och detektion riktmärken som NTU RGB+D, SBU Kinect Interaktion och PKU-MMD.
Ett konvolutionellt neuralt nätverk används också i REF för att lära sig co-occurrence funktioner.
Co-occurrence Feature Learning from Skeleton Data for Action Recognition and Detection with Hierarchical Aggregation
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Computer Science']}