Modellbaserad bedömning av den mänskliga poseen görs för närvarande genom två olika paradigm. Optimering baserade metoder passar en parametrisk kropp modell till 2D observationer på ett iterativt sätt, vilket leder till exakt bildmodell anpassningar, men är ofta långsam och känslig för initiering. Däremot regressionsbaserade metoder, som använder ett djupt nätverk för att direkt uppskatta modellparametrar från pixlar, tenderar att ge rimliga, men inte pixel exakta resultat samtidigt som det kräver enorma mängder övervakning. I detta arbete, i stället för att undersöka vilket tillvägagångssätt som är bättre, är vår centrala insikt att de två paradigmerna kan bilda ett starkt samarbete. En rimlig, direkt regresserad uppskattning från nätverket kan initiera iterativ optimering vilket gör monteringen snabbare och mer exakt. På samma sätt kan en pixel exakt passform från iterativ optimering fungera som stark övervakning för nätverket. Detta är kärnan i vårt föreslagna tillvägagångssätt SPIN (SMPL oPtimering I slingan). Det djupa nätverket initierar en iterativ optimeringsrutin som passar kroppsmodellen till 2D-lederna i träningsslingan, och den monterade uppskattningen används därefter för att övervaka nätverket. Vår strategi är självförbättrande av naturen, eftersom bättre nätverksuppskattningar kan leda optimeringen till bättre lösningar, samtidigt som mer exakta optimeringspass ger bättre övervakning för nätverket. Vi visar effektiviteten i vår strategi i olika miljöer, där 3D-grunden är knapp, eller inte finns tillgänglig, och vi konsekvent överträffar den senaste modellen-baserade pose uppskattning metoder med betydande marginaler. Projektets webbplats med videor, resultat och kod finns på https://seas.upenn.edu/  påkolot/projects/spin.
Kolotouros m.fl. REF kombinerar regressionsbaserade och optimeringsbaserade metoder på ett samarbetsinriktat sätt genom att använda SMPLify i träningsslingan.
Learning to Reconstruct 3D Human Pose and Shape via Model-Fitting in the Loop
{'venue': '2019 IEEE/CVF International Conference on Computer Vision (ICCV)', 'journal': '2019 IEEE/CVF International Conference on Computer Vision (ICCV)', 'mag_field_of_study': ['Computer Science']}