För att underlätta analysen av mänskliga handlingar, interaktioner och känslor, beräknar vi en 3D-modell av människokroppen pose, hand pose, och ansiktsuttryck från en enda monocular bild. För att uppnå detta använder vi tusentals 3D-skanningar för att träna en ny, enhetlig, 3D-modell av människokroppen, SMPL-X, som utökar SMPL med fullt artikulerade händer och ett uttrycksfullt ansikte. Att lära sig regressera parametrarna i SMPL-X direkt från bilder är utmanande utan parade bilder och 3D-grundssanning. Följaktligen följer vi SMPLifys strategi, som uppskattar 2D-funktioner och sedan optimerar modellparametrarna för att passa funktionerna. Vi förbättrar på SMPLify på flera viktiga sätt: (1) vi upptäcker 2D-funktioner som motsvarar ansikte, händer och fötter och passar den fullständiga SMPL-X modellen till dessa; (2) vi tränar ett nytt neurala nätverk pose innan du använder en stor MoCap dataset; (3) vi definierar en ny interpenetration straff som är både snabb och korrekt; (4) vi automatiskt upptäcker kön och lämpliga kroppsmodeller (manlig, kvinnlig, eller neutral); (5) vår PyTorch genomförande uppnår en hastighetsuppgång på mer än 8× över Chumpy. Vi använder den nya metoden, SMPLify-X, för att passa SMPL-X till både kontrollerade bilder och bilder i det vilda. Vi utvärderar 3D noggrannhet på en ny curated dataset bestående av 100 bilder med pseudo mark-sanning. Detta är ett steg mot automatisk expressiv mänsklig avskiljning från monokulära RGB-data. Modellerna, koden och uppgifterna finns tillgängliga för forskningsändamål på https://smpl-x.is.tue.mpg.de.
Modellen har nyligen utvidgats till att representera fullt artikulerade händer och ett uttrycksfullt ansikte REF, men den förbättrade modellen är fortfarande baserad på avklädda 3D kroppsskanningar.
Expressive Body Capture: 3D Hands, Face, and Body From a Single Image
{'venue': '2019 IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR)', 'journal': '2019 IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR)', 'mag_field_of_study': ['Computer Science']}