Vi tar itu med den mänskliga rörelsen imitation, utseende överföring, och ny syn syntes inom en enhetlig ram, vilket innebär att modellen en gång utbildas kan användas för att hantera alla dessa uppgifter. De befintliga uppgiftsspecifika metoderna använder huvudsakligen 2D-nyckelpunkter (pose) för att uppskatta människokroppens struktur. De uttrycker dock endast positionsinformationen utan förmåga att karakterisera den individuella personens personliga form och modellera lemmarnas rotationer. I detta papper föreslår vi att använda en 3D body mesh återvinning modul för att lösgöra pose och form, som inte bara kan modellera den gemensamma läge och rotation men också karakterisera den personliga kroppsformen. För att bevara källinformationen, såsom textur, stil, färg och ansiktsidentitet, föreslår vi en Liquid Warping GAN med Liquid Warping Block (LWB) som sprider källinformationen i både bild- och funktionsutrymmen, och syntetiserar en bild med avseende på referensen. Specifikt, är källfunktionerna extraheras av en denoiserande convolutional auto-encoder för att karakterisera källans identitet väl. Dessutom kan vår föreslagna metod stödja en mer flexibel förvrängning från flera källor. Dessutom bygger vi en ny dataset, nämligen Impersonator (iPER) dataset, för utvärdering av mänskliga rörelser imitation, utseende överföring, och ny synsyntes. Omfattande experiment visar effektiviteten av vår metod i flera aspekter, såsom robusthet i ocklusion fall och bevara ansikte identitet, form konsistens och kläder detaljer. Alla koder och datauppsättningar finns tillgängliga på https://svip-lab.github.io/ project/impersonator.html.
Liu m.fl. REF presenterar en ny warpstrategi, som också använder projektionen av 3D-modeller för att hantera rörelseöverföring, utseendeöverföring och ny synsyntes inom en enhetlig modell.
Liquid Warping GAN: A Unified Framework for Human Motion Imitation, Appearance Transfer and Novel View Synthesis
{'venue': '2019 IEEE/CVF International Conference on Computer Vision (ICCV)', 'journal': '2019 IEEE/CVF International Conference on Computer Vision (ICCV)', 'mag_field_of_study': ['Computer Science', 'Engineering']}