Nyligen genomförda förbättringar av Generativa Adversarial Networks (GAN) har gjort det möjligt att generera realistiska bilder i hög upplösning baserat på naturliga språkbeskrivningar såsom bildtexter. Finkornig styrning av bildlayouten, dvs. var i bilden specifika objekt bör placeras, är fortfarande svårt att uppnå. Vi introducerar ett nytt tillvägagångssätt som gör att vi kan kontrollera platsen för godtyckligt många objekt i en bild genom att lägga till en objektväg till både generatorn och discriminatorn. Vårt tillvägagångssätt behöver inte en detaljerad semantisk layout utan endast avgränsande rutor och respektive etiketter för de önskade objekten behövs. Objektvägen fokuserar enbart på de enskilda objekten och tillämpas iterativt på de platser som anges av de avgränsande rutorna. Den globala vägen fokuserar på bildbakgrunden och den allmänna bildlayouten. Vi utför experiment på Multi-MNIST, CLEVR, och den mer komplexa MS-COCO data set. Våra experiment visar att genom användning av objektvägen kan vi styra objektplatser inom bilder och kan modellera komplexa scener med flera objekt på olika platser. Vi visar vidare att objektvägen fokuserar på de enskilda objekten och lär sig funktioner som är relevanta för dessa, medan den globala vägen fokuserar på globala bildegenskaper och bildbakgrund.
REF skapar bilder som är betingade av avgränsade rutor för de enskilda förgrundsobjekten genom att införa en objektväg som är dedikerad till att generera enskilda objekt.
Generating Multiple Objects at Spatially Distinct Locations
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Computer Science']}