Trots några spännande framsteg på högkvalitativ bildgenerering från strukturerade (scengrafik) eller freeform (sents) beskrivningar, de flesta av dem garanterar bara bild-nivå semantisk konsistens, dvs.. Den genererade bilden som motsvarar beskrivningens semantiska betydelse. Men det saknas fortfarande undersökningar om syntetisering av bilderna på ett mer kontrollerbart sätt, som fint manipulera det visuella utseendet på varje objekt. Därför, för att generera bilder med föredragna objekt och rika interaktioner, föreslår vi en semiparametrisk metod, betecknad som PasteGAN, för att generera bilden från scenen grafen, där rumsliga arrangemang av objekten och deras parvisa relationer definieras av scenen graf och objektets utseende bestäms av givna objekt grödor. För att förbättra interaktionen mellan objekten i utdatan, designar vi ett Crop Refining Network för att bädda in objekten samt deras relationer till en karta. Flera förluster fungerar tillsammans för att garantera de genererade bilderna hög respekt grödorna och följa scenen grafer samtidigt som utmärkt bildkvalitet. En gröda väljare föreslås också att plocka de mest kompatibla grödorna från vår externa objekt tank genom att koda interaktioner runt objekten i scenen grafen om grödorna inte tillhandahålls. Utvärderad på Visual Genome och COCO-Stuff, vår föreslagna metod avsevärt överträffar SOTA metoder på både Inception Score och Mångfald Score med en enorm marginal. Omfattande experiment visar också vår metods förmåga att generera komplexa och mångsidiga bilder med givna objekt.
REF skapar bilder från scengrafer och låter modellen beskära objekt från andra bilder för att klistra in dem i den genererade bilden på rätt plats.
PasteGAN: A Semi-Parametric Method to Generate Image from Scene Graph
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Computer Science']}