I den här artikeln tar vi upp problemet med 3D-människans förståelse i det fria. En stor utmaning är bristen på träningsdata, dvs. 2D-bilder av människor kommenterade med 3D pose. Sådana uppgifter är nödvändiga för att utbilda toppmoderna CNN-arkitekturer. Här föreslår vi en lösning för att generera en stor uppsättning fotorealistiska syntetiska bilder av människor med 3D pose annotations. Vi introducerar en bildbaserad syntesmotor som artificiellt förstärker en datauppsättning av verkliga bilder och 2D human pose annotations med 3D Motion Capture (MoCap) data. Med tanke på en kandidat 3D pose väljer vår algoritm för varje led en bild vars 2D pose lokalt matchar den projicerade 3D pose. De valda bilderna kombineras sedan för att skapa en ny syntetisk bild genom att sy lokala bildplåster på ett kinematiskt begränsat sätt. De resulterande bilderna används för att träna en end-to-end CNN för fullkroppsuppskattning av 3D-pose. Vi samlar in träningsdata i ett stort antal poseklasser och tar itu med det som ett K-vägsklassificeringsproblem. Ett sådant tillvägagångssätt är endast genomförbart med stora utbildningsset som vårt. Vår metod överträffar state-of-the-art i termer av 3D utgör uppskattning i kontrollerade miljöer (Human3.6M), visar lovande resultat för i-the-vilda bilder (LSP).
En collage strategi föreslås av Rogez och Schmid REF, där delar från in-the-vilda bilder kombineras för att skapa ytterligare bilder med kända 3D-poser.
MoCap-guided Data Augmentation for 3D Pose Estimation in the Wild
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Computer Science']}