....................................... Vi återfår hela den globala 3D-skelett pose i realtid från en enda RGB-kamera, även trådlös fånga är möjligt genom streaming från en smartphone (vänster). Det möjliggör applikationer som kontroll av ett spel tecken, förkroppsligad VR, sport rörelse analys och rekonstruktion av gemenskap video (höger). Gemenskapsvideor (CC BY) genom tillmötesgående från Real Madrid C.F. [2016] och RUSFENCING-TV [2017]. Vi presenterar den första realtidsmetoden för att fånga hela den globala 3D-skelettposen hos en människa på ett stabilt, temporalt konsekvent sätt med hjälp av en enda RGB-kamera. Vår metod kombinerar ett nytt konvolutionellt neuralt nätverk (CNN) baserat pose regressor med kinematic skelett montering. Vår nya helt konvolutionella pose formulering regresserar 2D och 3D gemensamma positioner gemensamt i realtid och kräver inte tätt beskurna input ramar. En realtid Kinematic skelettmontering metod använder CNN-utgången för att ge temporalt stabil 3D global pose rekonstruktioner på grundval av en sammanhängande kinematic skelett. Detta gör vår strategi den första monokulära RGB metod som kan användas i realtid program som 3D teckenkontroll-så långt, de enda monokulära metoder för sådana applikationer använde specialiserade RGB-D kameror. Vår metods noggrannhet är kvantitativt på samma nivå som de bästa offline 3D monocular RGB pos estimeringsmetoder. Våra resultat är kvalitativt jämförbara med, och ibland bättre än, resultat från monokulära RGB-D-metoder, såsom Kinect. Vi visar dock att vår strategi är mer allmänt tillämplig än RGB-D-lösningar, dvs. det fungerar för utomhusscener, communityvideor och låg kvalitet råvaror RGB-kameror.
Mehta m.fl. I REF föreslås ett realtidssystem för 3d som ger en uppskattning och använder tidsfiltrering för att ge tidsmässigt konsekventa 3d-poser.
VNect: real-time 3D human pose estimation with a single RGB camera
{'venue': 'TOGS', 'journal': None, 'mag_field_of_study': ['Computer Science']}