Generativa Adversarial Networks (Gans) har nyligen visat förmågan att syntetisera övertygande verkliga bilder, såsom rumsinteriörer, skivomslag, manga, ansikten, fåglar och blommor. Medan befintliga modeller kan syntetisera bilder baserat på globala begränsningar såsom en klassetikett eller bildtext, ger de inte kontroll över pose eller objekt plats. Vi föreslår en ny modell, Generative Adversarial What-Where Network (GAWWN), som syntetiserar bilder som ges instruktioner som beskriver vilket innehåll att rita på vilken plats. Vi visar högkvalitativ 128 × 128 bildsyntes på Caltech-UCSD Birds dataset, betingat på både informella textbeskrivningar och objektplats. Vårt system avslöjar kontroll över både den avgränsande lådan runt fågeln och dess beståndsdelar. Genom att modellera den villkorade fördelningen över delplatser, möjliggör vårt system också konditionering på godtyckliga delmängder av delar (t.ex. Endast näbb och svans), vilket ger ett effektivt gränssnitt för att välja delar platser. Vi visar också preliminära resultat på den mer utmanande domänen för text- och platskontrollerbar syntes av bilder av mänskliga handlingar på MPII Human Pose dataset.
Reed m.fl. REF utvidgade detta arbete genom att föreslå ett GAN som är betingat av både text- och platsinformation.
Learning What and Where to Draw
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Computer Science']}