Syntetisering av högkvalitativa bilder från textbeskrivningar är ett utmanande problem i datorseendet och har många praktiska tillämpningar. Prover som genereras av befintliga text-till-bild-metoder kan grovt återspegla betydelsen av de givna beskrivningarna, men de misslyckas med att innehålla nödvändiga detaljer och levande objektdelar. I detta dokument föreslår vi Stacked Generative Adversarial Networks (StackGAN) att generera 256×256 fotorealistiska bilder konditionerade på textbeskrivningar. Vi delar upp det svåra problemet i mer hanterbara delproblem genom en skissrefinieringsprocess. Stage-I GAN skisserar objektets primitiva form och färger baserat på den givna textbeskrivningen, vilket ger Stage-I lågupplösta bilder. Steg II GAN tar Stage-I resultat och textbeskrivningar som ingångar, och genererar högupplösta bilder med fotorealistiska detaljer. Den kan rätta till brister i steg I-resultaten och lägga till övertygande detaljer i förfiningsprocessen. För att förbättra mångfalden av de syntetiserade bilderna och stabilisera utbildningen av den villkorliga-Gan, introducerar vi en ny Conditioning Augmentation teknik som uppmuntrar jämnhet i latent konditioneringsgrenröret. Omfattande experiment och jämförelser med state-of-the-arts på referensdatauppsättningar visar att den föreslagna metoden uppnår betydande förbättringar när det gäller att generera fotorealistiska bilder som är betingade av textbeskrivningar.
I detta dokument föreslår vi ett flerstegs-villkorat generativt kontradiktoriskt nätverk inspirerat av stackGan arkitektur REF följt av ett Siamese-nätverk för matchning.
StackGAN: Text to Photo-Realistic Image Synthesis with Stacked Generative Adversarial Networks
{'venue': '2017 IEEE International Conference on Computer Vision (ICCV)', 'journal': '2017 IEEE International Conference on Computer Vision (ICCV)', 'mag_field_of_study': ['Computer Science', 'Mathematics']}