Vi tar itu med problemet med fall-nivå ansiktsattribut överföring utan parade träningsdata, t.ex., troget överföra den exakta mustasch från ett källansikte till ett målansikte. Detta är en mer utmanande uppgift än den konventionella semantiska-nivå attribut överföring, som bara bevarar den generiska attribut stil i stället för instans-nivå egenskaper. Vi föreslår användning av geometri-medveten flöde, som fungerar som en lämplig representation för att modellera omvandlingen mellan instans-nivå ansiktsattribut. Särskilt använder vi ansiktsmarkeringarna som den geometriska vägledningen för att lära oss de olika flödena automatiskt, trots att det fanns ett stort posegap. Geometri-medveten flöde kan warp källan ansikte attribut i målet ansikte sammanhang och generera en warp-och-blend resultat. För att kompensera för det potentiella utseende gapet mellan källa och mål ansikten, föreslår vi en hallucination sub-nätverk som producerar ett utseende rest för att ytterligare förfina warp-and-blend resultatet. Slutligen konstrueras ett ramverk för cykelkonsistens som består av både överföringsmodul för attribut och borttagningsmodul för attribut, så att rikliga oparade ansiktsbilder kan användas som träningsdata. Omfattande utvärderingar validerar förmågan i vår strategi att överföra instans-nivå ansiktsattribut troget över stora pose och utseende luckor. Tack vare flödet representation, kan vårt tillvägagångssätt enkelt tillämpas för att generera realistiska detaljer på högupplösta bilder 1.
För att lindra detta problem föreslog REF ett geometri-medvetet flöde som lärs under geometri vägledning från ansiktsmarkeringar för att förvränga inmatningen.
Instance-level Facial Attributes Transfer with Geometry-Aware Flow
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Computer Science']}