Detta dokument tar upp problemet med 3D-mänskliga poseuppskattningar i vilt tillstånd. En stor utmaning är bristen på träningsdata, dvs. 2D-bilder av människor kommenterade med 3D-poser. Sådana uppgifter är nödvändiga för att utbilda toppmoderna CNN-arkitekturer. Här föreslår vi en lösning för att generera en stor uppsättning fotorealistiska syntetiska bilder av människor med 3D pose annotations. Vi introducerar en bildbaserad syntesmotor som artificiellt förstärker en datauppsättning av verkliga bilder med 2D human pose annotations med 3D rörelse fånga data. Med tanke på en kandidat 3D pose väljer vår algoritm för varje led en bild vars 2D pose lokalt matchar den projicerade 3D pose. De valda bilderna kombineras sedan för att skapa en ny syntetisk bild genom att sy lokala bildplåster på ett kinematiskt begränsat sätt. De resulterande bilderna används för att träna en end-to-end CNN för fullkroppsuppskattning av 3D-pose. Vi samlar in träningsdata i ett stort antal pose-klasser och tar itu med det som ett K-way-klassificeringsproblem. Ett sådant tillvägagångssätt är endast genomförbart med stora utbildningsset som vårt. Vår metod överträffar de flesta av de publicerade verken i form av 3D-uppskattning i kontrollerade miljöer (Human3.6M) och visar lovande resultat för verkliga bilder (LSP). Detta visar att CNNs utbildade på konstgjorda bilder generaliserar väl till verkliga bilder. Jämfört med data som genereras från mer klassiska renderingsmotorer kräver våra syntetiska bilder ingen domänanpassning eller finjusteringssteg.
Å andra sidan kombinerar arbetet i REF 2D-bilder och 3D-rörelsedata för att generera ett stort träningsset som gör det möjligt att träna en end-to-end CNN 3D pose classifier.
Image-Based Synthesis for Deep 3D Human Pose Estimation
{'venue': 'International Journal of Computer Vision', 'journal': 'International Journal of Computer Vision', 'mag_field_of_study': ['Computer Science']}