Ledd handställning och formuppskattning är ett viktigt problem för visionsbaserade tillämpningar såsom förstärkt verklighet och animation. I motsats till de befintliga metoderna som endast optimeras för gemensamma positioner föreslår vi ett fullt övervakat djupt nätverk som lär sig att gemensamt uppskatta en fullständig 3D-handmaskor representation och posera från en enda djup bild. För detta ändamål används en CNN-arkitektur för att uppskatta parametriska representationer, dvs. handpose, benskalor och komplexa formparametrar. Sedan, en ny hand pose och form lager, inbäddade i vår djupa ram, producerar 3D gemensamma positioner och hand mesh. Brist på tillräckliga träningsdata med varierande handformer begränsar den allmänna prestandan hos inlärningsbaserade metoder. Också, manuellt annotera verkliga data är suboptimal. Därför presenterar vi SynHand5M: en miljon skala syntetiska dataset med exakta gemensamma annoteringar, segmentering masker och mesh filer djupkartor. Bland modellbaserade inlärningsmetoder (hybrid) visar vi förbättrade resultat på vår datauppsättning och två av de offentliga riktmärkena, d.v.s. NYU och ICVL. Dessutom, genom att använda en gemensam utbildningsstrategi med verkliga och syntetiska data, återhämtar vi 3D hand mesh och posera från verkliga bilder i 3.7ms.
En ny metod REF föreslogs för att uppskatta pose och form parametrar från djupbilden med CNNs, och återställa 3D handmaskor med LBS.
DeepHPS: End-to-end Estimation of 3D Hand Pose and Shape by Learning from Synthetic Depth
{'venue': '2018 International Conference on 3D Vision (3DV)', 'journal': '2018 International Conference on 3D Vision (3DV)', 'mag_field_of_study': ['Computer Science']}