Generativa Adversarial Networks (Gans) har nyligen uppnått betydande förbättringar på parad/oparerad bild-till-bild översättning, såsom foto→ skiss och konstnär målning stil överföring. Befintliga modeller kan dock endast överföra information på låg nivå (t.ex. Färg- eller strukturförändringar), men misslyckas med att redigera högnivåsemantiska betydelser (t.ex. geometrisk struktur eller innehåll) av objekt. Å andra sidan, medan vissa forskare kan syntetisera övertygande verkliga bilder som ges en klassetikett eller bildtext, kan de inte villkora sig på godtyckliga former eller strukturer, som till stor del begränsar deras tillämpning scenarier och tolkningsförmåga modellresultat. I detta arbete fokuserar vi på en mer utmanande semantisk manipuleringsuppgift som syftar till att förändra objektets semantiska betydelse samtidigt som dess egna egenskaper bevaras (t.ex. synpunkter och former), såsom ko→får, motor→ cykel, katt→dog. För att ta itu med så stora semantiska förändringar introducerar vi en kontrasterande GAN (kontrast-GAN) med ett nytt kontradiktoriskt kontrastmål. Istället för att direkt göra de syntetiserade proverna nära måldata som tidigare GAN gjorde, optimerar vårt kontradiktoriska kontrastmål över avståndsjämförelser mellan prover, det vill säga att genomdriva de manipulerade data vara semantiskt närmare de verkliga data med målkategori än inmatningsdata. Utrustad med det nya kontrasterande målet föreslås en ny mask-villkorad kontrast-GAN-arkitektur för att möjliggöra disentanglig bildbakgrund med objektsemantiska förändringar. Experiment på flera semantiska manipulationsuppgifter på ImageNet och MSCOCO dataset visar betydande resultatvinst av vår kontrast-GAN över andra villkorliga GANs. Kvantitativa resultat visar vidare vår modells överlägsenhet när det gäller att generera manipulerade resultat med hög visuell trohet och rimliga objektsemantik.
Efter sammansättningen av cykelkonsistens, Liang et al. REF fokuserar på att redigera semantiskt innehåll på hög nivå av objekt samtidigt som bakgrundsegenskaper bevaras.
Generative Semantic Manipulation with Contrasting GAN
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Computer Science']}