: Human Mesh Recovery (HMR): End-to-end kontraarial inlärning av mänsklig pose och form. Vi beskriver en realtidsram för att återställa 3D-ledvinklar och formen på kroppen från en enda RGB-bild. De två första raderna visar resultat från vår modell tränad med ca 2D-till-3D övervakning, den nedre raden visar resultat från en modell som tränas på ett helt svagt övervakat sätt utan att använda någon parad 2D-till-3D övervakning. Vi kan härleda hela 3D-kroppen även vid ocklusioner och trunkeringar. Observera att vi fångar huvud och lemmar inriktningar. Vi beskriver Human Mesh Recovery (HMR), en end-toend ram för att rekonstruera en full 3D mesh av en mänsklig kropp från en enda RGB bild. I motsats till de flesta nuvarande metoder som beräknar 2D eller 3D gemensamma platser, producerar vi en rikare och mer användbar mesh representation som är parameteriserad genom form och 3D gemensamma vinklar. Huvudsyftet är att minimera reprojection förlust av keypoints, vilket gör att vår modell att tränas med hjälp av in-the-vilda bilder som bara har marksanning 2D annotations. Emellertid är endast reprojiceringsförlusten mycket underskattad. I detta arbete tar vi itu med detta problem genom att införa en motståndare som är utbildad att avgöra om människokroppens form och poseparametrar är verkliga eller inte med hjälp av en stor databas med 3D-mänskliga maskor. Vi visar att HMR kan tränas med och utan parad 2D-till-3D-övervakning. Vi förlitar oss inte på mellanliggande 2D keypoint upptäckter och infer 3D posera och forma parametrar direkt från bild pixlar. Vår modell körs i realtid med tanke på en begränsande låda som innehåller personen. Vi demonstrerar vår strategi för olika bilder in-the-wild och out-perform tidigare optimeringsbaserade metoder som ger 3D mesh och visar konkurrenskraftiga resultat på uppgifter som 3D gemensam lokaliseringsberäkning och delsegmentering.
Dessutom inför REF en kontradiktorisk förlust som straffar icke-realistiska kroppsformer.
End-to-End Recovery of Human Shape and Pose
{'venue': '2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition', 'journal': '2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition', 'mag_field_of_study': ['Computer Science']}