Hand form och pose återvinning är viktigt för många datorseende applikationer såsom animering av en personlig hand mesh i en virtuell miljö. Även om det finns många hand pose uppskattningsmetoder, endast ett fåtal djupt lärande baserade algoritmer mål 3D hand form och posera från en enda RGB eller djup bild. Gemensamt uppskatta hand form och pose är mycket utmanande eftersom ingen av de befintliga verkliga riktmärken ger marken sanning hand form. Av denna anledning föreslår vi en ny svagt övervakad strategi för 3D hand form och pose återställning (namn WHSP-Net) från en enda djup bild genom att lära sig former från omärkta verkliga data och märkta syntetiska data. Därför föreslår vi en ny ram som består av tre nya komponenter. Den första är Convolutional Neural Network (CNN) baserade djupa nätverk som producerar 3D leder positioner från lärda 3D benvektorer med hjälp av ett nytt lager. Den andra är en ny form avkodare som återvinner tät 3D-handmask från glesa leder. Den tredje är en ny djupsyntes som rekonstruerar 2D djup bild från 3D hand mesh. Hela rörledningen finjusteras från början till slut. Vi visar att vårt tillvägagångssätt återvinner rimliga handformer från verkliga datauppsättningar samt från levande ström av djupkamera i realtid. Vår algoritm överträffar state-of-the-art metoder som ger mer än de gemensamma positioner och visar konkurrenskraftiga prestanda på 3D utgör uppskattning uppgift.
Nyligen, Malik et al. I REF föreslogs ett strukturerat, svagt övervakat, djupt lärandebaserat tillvägagångssätt med hjälp av en enda djupbild.
WHSP-Net: A Weakly-Supervised Approach for 3D Hand Shape and Pose Recovery from a Single Depth Image
{'venue': 'Sensors (Basel, Switzerland)', 'journal': 'Sensors (Basel, Switzerland)', 'mag_field_of_study': ['Computer Science', 'Engineering', 'Medicine']}