De flesta av de befintliga djupt lärande-baserade metoder för 3D hand och människa pose uppskattning från en enda djup karta bygger på en gemensam ram som tar en 2D djup karta och direkt regresserar 3D koordinater av keypoints, såsom hand eller mänskliga kroppsleder, via 2D konvolutionala neurala nätverk (CNNs). Den första svagheten i detta tillvägagångssätt är närvaron av perspektivförvrängning i 2D-djupkartan. Medan djupkartan är i sig 3D-data, många tidigare metoder behandlar djupkartor som 2D-bilder som kan förvränga formen på det verkliga objektet genom projektion från 3D till 2D-utrymme. Detta tvingar nätverket att utföra perspektiv distorsion-invariant uppskattning. Den andra svagheten i det konventionella tillvägagångssättet är att direkt regresserande 3D-koordinater från en 2D-bild är en mycket icke-linjär kartläggning, vilket orsakar svårigheter i inlärningsprocessen. För att övervinna dessa svagheter, vi först kasta 3D hand och människa utgör uppskattningsproblem från en enda djup karta i en voxel-till-voxel förutsägelse som använder en 3D voxelized rutnät och uppskattar sannolikheten per voxel för varje nyckelpunkt. Vi designar vår modell som en 3D CNN som ger korrekta uppskattningar samtidigt som den körs i realtid. Vårt system överträffar tidigare metoder i nästan alla allmänt tillgängliga 3D-hand- och mänskliga pose estimeringsdata och placeras först i HANDS 2017 rambaserade 3D-handen utgör estimering utmaning. Koden finns i 1.
Ett voxel-till-voxel-nätverk (sammansatt V2V-PoseNet) föreslås i REF för bedömning av hand- och kroppsställning.
V2V-PoseNet: Voxel-to-Voxel Prediction Network for Accurate 3D Hand and Human Pose Estimation from a Single Depth Map
{'venue': '2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition', 'journal': '2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition', 'mag_field_of_study': ['Computer Science']}