Skeleton sekvenser ger 3D banor av mänskliga skelett leder. Den rumsliga tidsinformationen är mycket viktig för erkännandet av åtgärder. Med tanke på att djupa konvolutionella neurala nätverk (CNN) är mycket kraftfull för funktionsinlärning i bilder, i detta papper, föreslår vi att omvandla en skelettsekvens till en bildbaserad representation för rumslig tidsinlärning med CNN. Specifikt, för varje kanal av 3D-koordinaterna, representerar vi sekvensen i ett klipp med flera grå bilder, som representerar flera rumsliga strukturinformation av lederna. Dessa bilder matas till en djup CNN för att lära sig funktioner på hög nivå. CNN-egenskaperna hos alla de tre klippen i samma steg är sammansvetsade i en funktionsvektorn. Varje vektor representerar tidsinformationen för hela skelettsekvensen och en särskild rumslig relation mellan lederna. Vi föreslår sedan ett multi-Task Learning Network (MTLN) för att gemensamt bearbeta vektorer för alla tidssteg parallellt för åtgärdsigenkänning. Experimentella resultat visar tydligt hur effektiv den föreslagna nya representationen och inlärningsmetoden för erkännande av 3D-åtgärder är.
- Ke et al. - Vad är det? REF föreslog att mänskliga skelettsekvenser skulle omvandlas till gråskalor, där de gemensamma koordinaterna representerades av bildpunkters intensitet.
A New Representation of Skeleton Sequences for 3D Action Recognition
{'venue': '2017 IEEE Conference on Computer Vision and Pattern Recognition (CVPR)', 'journal': '2017 IEEE Conference on Computer Vision and Pattern Recognition (CVPR)', 'mag_field_of_study': ['Computer Science']}