Syntetisering av högkvalitativa bilder från textbeskrivningar är ett utmanande problem i datorseendet och har många praktiska tillämpningar. Prover som genereras av befintliga text-till-bild-metoder kan grovt återspegla betydelsen av de givna beskrivningarna, men de misslyckas med att innehålla nödvändiga detaljer och levande objektdelar. I detta dokument föreslår vi Stacked Generative Adversarial Networks (StackGAN) att generera 256×256 fotorealistiska bilder konditionerade på textbeskrivningar. Vi delar upp det svåra problemet i mer hanterbara delproblem genom en skissrefinieringsprocess. Stage-I GAN skisserar objektets primitiva form och färger baserat på den givna textbeskrivningen, vilket ger Stage-I lågupplösta bilder. Steg II GAN tar Stage-I resultat och textbeskrivningar som ingångar, och genererar högupplösta bilder med fotorealistiska detaljer. Den kan rätta till brister i steg I-resultaten och lägga till övertygande detaljer i förfiningsprocessen. För att förbättra mångfalden av de syntetiserade bilderna och stabilisera utbildningen av den villkorliga-Gan, introducerar vi en ny Conditioning Augmentation teknik som uppmuntrar jämnhet i latent konditioneringsgrenröret. Omfattande experiment och jämförelser med state-of-the-arts på referensdatauppsättningar visar att den föreslagna metoden uppnår betydande förbättringar när det gäller att generera fotorealistiska bilder som är betingade av textbeskrivningar.
Senare, Zhang et al. REF föreslog en StackGAN-strategi för att generera realistiska bilder av hög kvalitet från textbeskrivning med hjälp av staplade generativa kontradiktoriska nätverk.
StackGAN: Text to Photo-Realistic Image Synthesis with Stacked Generative Adversarial Networks
{'venue': '2017 IEEE International Conference on Computer Vision (ICCV)', 'journal': '2017 IEEE International Conference on Computer Vision (ICCV)', 'mag_field_of_study': ['Computer Science', 'Mathematics']}