I detta dokument föreslår vi ett sätt att syntetisera realistiska bilder direkt med beskrivning av naturligt språk, som har många användbara tillämpningar, t.ex. Intelligent bildmanipulation. Vi försöker åstadkomma en sådan syntes: med en källbild och en måltextbeskrivning syntetiserar vår modell bilder för att uppfylla två krav: 1) att vara realistisk samtidigt som den matchar måltextbeskrivningen; 2) upprätthålla andra bildfunktioner som är irrelevanta för textbeskrivningen. Modellen bör kunna skilja semantisk information från de två metoderna (bild och text) och generera nya bilder från den kombinerade semantiken. För att uppnå detta föreslog vi en end-to-end neural arkitektur som utnyttjar kontradiktoriskt lärande för att automatiskt lära sig implicita förlustfunktioner, som är optimerade för att uppfylla de ovan nämnda två kraven. Vi har utvärderat vår modell genom att utföra experiment på Caltech-200 fågeldataset och Oxford-102 blomdataset, och har visat att vår modell kan syntetisera realistiska bilder som matchar de givna beskrivningarna, samtidigt som den fortfarande har andra egenskaper hos originalbilder.
Dong m.fl. REF föreslog en GAN-baserad koddecoder-arkitektur för att reda ut semantiken för både indatabilder och textbeskrivningar.
Semantic Image Synthesis via Adversarial Learning
{'venue': '2017 IEEE International Conference on Computer Vision (ICCV)', 'journal': '2017 IEEE International Conference on Computer Vision (ICCV)', 'mag_field_of_study': ['Computer Science']}