Vi introducerar en ny siluettbaserad representation för modellering av klädda mänskliga kroppar med hjälp av djupa generativa modeller. Vår metod kan rekonstruera en komplett och texturerad 3D-modell av en person som bär kläder från en enda ingångsbild. Inspirerad av den visuella skrovalgoritmen använder vår implicita representation 2D silhuetter och 3D leder av en kropp pose för att beskriva den enorma form komplexitet och variationer klädda människor. Med tanke på en segmenterad 2D silhuett av en person och dess resultat 3D fogar från indata bilden, vi först syntetisera konsekventa silhuetter från nya syn punkter runt ämnet. De syntetiserade silhuetter som är de mest konsekventa med inmatning segmenteringen matas in i en djup visuell skrov algoritm för robust 3D form förutsägelse. Vi kan sedan sluta oss till texturen i motivets baksida genom att använda frontbilden och segmenteringsmasken som indata till ett villkorligt generativt kontradiktoriskt nätverk. Våra experiment visar att vår siluettbaserade modell är en effektiv representation och utseendet på baksidan kan förutsägas på ett tillförlitligt sätt med hjälp av ett bild-till-bild-översättningsnätverk. Även om klassiska metoder baserade på parametriska modeller ofta misslyckas med att se enstaka bilder av ämnen med utmanande kläder, kan vår strategi fortfarande ge framgångsrika resultat, som är jämförbara med dem som erhålls från multi-view input.
Helt nyligen introducerar REF en pipeline som ger en enda bild av en person i frontalläge förutsäger kroppen siluett sett från olika vyer, och sedan använder en visuell skrovalgoritm för att uppskatta 3D-form.
SiCloPe: Silhouette-Based Clothed People
{'venue': '2019 IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR)', 'journal': '2019 IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR)', 'mag_field_of_study': ['Computer Science']}