Objekt Transfiguration ersätter ett objekt i en bild med ett annat objekt från en andra bild. Till exempel kan den utföra uppgifter som "att sätta exakt dessa glasögon från bild A på näsan på personen i bild B". Användning av exemplar bilder ger mer exakt specifikation av önskade ändringar och förbättrar mångfalden av villkorlig bildgenerering. Tidigare metoder som är beroende av rymdfunktioner kräver dock parade data- och/eller utseendemodeller för träning eller disentangling av föremål från bakgrunden. I detta arbete föreslår vi en modell som kan lära sig objekttransfiguration från två oparerade uppsättningar av bilder: en uppsättning som innehåller bilder som "har" den typen av objekt, och den andra uppsättningen är motsatsen, med den milda begränsningen att objekten placeras ungefär på samma plats. Till exempel, träningsdata kan vara en uppsättning referensansiktsbilder som har glasögon, och en annan uppsättning bilder som inte har, vilka båda rumsligt i linje med ansikte landmärken. Trots de svaga etiketterna 0/1 kan vår modell lära sig ett "ögonglas" subutrymme som innehåller flera representanter för olika typer av glasögon. Följaktligen kan vi utföra finkornig kontroll av genererade bilder, som att byta glasögon i två bilder genom att byta de projicerade komponenterna i "ögonglasögon" subrymd, för att skapa nya bilder av människor som bär glasögon. Sammantaget lär sig vår deterministiska generativa modell att skilja subrymder från svagt märkta data genom kontradiktorisk träning. Experiment på CelebA och Multi-PIE dataset validerar effektiviteten av den föreslagna modellen på verkliga data, i att generera bilder med specificerade glasögon, leende, frisyrer, och ljusförhållanden etc. Koden finns tillgänglig på nätet.
En modell som kan lära objekttransfiguration från två oparerade uppsättningar av bilder presenteras i REF.
GeneGAN: Learning Object Transfiguration and Attribute Subspace from Unpaired Data
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Computer Science']}