Detta arbete tar upp ett nytt och utmanande problem med att uppskatta hela 3D-handformen och posera från en enda RGB-bild. De flesta nuvarande metoder i 3D-handanalys från monokulära RGB-bilder fokuserar bara på att uppskatta 3D platser av hand keypoints, som inte helt kan uttrycka 3D form av hand. Däremot föreslår vi en Graph Convolutional Neural Network (Graph CNN) baserad metod för att rekonstruera en full 3D mesh av handytan som innehåller rikare information om både 3D handform och pose. För att utbilda nätverk med full övervakning skapar vi ett storskaligt syntetiskt dataset som innehåller både marksanning 3D-maskor och 3D-poser. När vi finjusterar nätverken på verkliga dataset utan 3D-grundsanning föreslår vi ett svagt övervakat tillvägagångssätt genom att utnyttja djupkartan som en svag övervakning av utbildningen. Genom omfattande utvärderingar av våra föreslagna nya dataset och två offentliga dataset, visar vi att vår föreslagna metod kan producera exakt och rimlig 3D hand mesh, och kan uppnå överlägsen 3D hand pos estimering noggrannhet jämfört med state-of-the-art metoder.
REF använder en graf CNN för att återställa handens yta från en monokulär RGB-bild av handen.
3D Hand Shape and Pose Estimation From a Single RGB Image
{'venue': '2019 IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR)', 'journal': '2019 IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR)', 'mag_field_of_study': ['Computer Science']}