Aktuella toppmoderna lösningar för rörelseupptagning från en enda kamera är optimeringsdrivna: de optimerar parametrarna för en 3D mänsklig modell så att dess re-projicering matchar mätningarna i videon (t.ex. personsegmentering, optiskt flöde, detektering av nyckelpunkter etc.). Optimeringsmodeller är känsliga för lokala minima. Detta har varit flaskhalsen som tvingats använda ren grön-skärm som bakgrunder vid fånga tid, manuell initiering, eller byta till flera kameror som ingångsresurs. I detta arbete föreslår vi en inlärningsbaserad motion fånga modell för en kamera ingång. Istället för att direkt optimera mesh- och skelettparametrar optimerar vår modell neurala nätverksvikter som förutsäger 3D-form och skelettkonfigurationer med en monokulär RGB-video. Vår modell är tränad med en kombination av stark övervakning från syntetisk data, och självövervakning från differentiable rendering av (a) skelett keypoints, (b) tät 3D mesh rörelse, och (c) människa-bakgrund segmentering, i en end-to-end ram. Empiriskt visar vi vår modell kombinerar det bästa av båda världarna av övervakad inlärning och test-tidsoptimering: övervakat lärande initierar modellparametrarna i rätt regim, säkerställer bra pose och ytinitiering vid testtid, utan manuell ansträngning. Självövervakning genom back-propagating genom differentiable rendering tillåter (oövervakad) anpassning av modellen till testdata, och erbjuder mycket hårdare passform än en förtränad fast modell. Vi visar att den föreslagna modellen förbättras med erfarenhet och konvergerar till låg-terror lösningar där tidigare optimeringsmetoder misslyckas.
I REF föreslogs en självövervakad metod med hjälp av 2D human keypoints, 3D mesh-rörelser och segmentering av människa-bakgrund.
Self-supervised Learning of Motion Capture
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Computer Science']}