För att verkligen förstå den visuella världen bör våra modeller inte bara kunna känna igen bilder utan också generera dem. I detta syfte har det gjorts spännande framsteg på senare tid när det gäller att generera bilder från naturliga språkbeskrivningar. Dessa metoder ger fantastiska resultat på begränsade områden såsom beskrivningar av fåglar eller blommor, men kämpar för att troget reproducera komplexa meningar med många objekt och relationer. För att övervinna denna begränsning föreslår vi en metod för att generera bilder från scengrafik, vilket möjliggör ett uttryckligt resonemang om objekt och deras relationer. Vår modell använder grafkonvolution för att bearbeta inmatningsgrafer, beräknar en scenlayout genom att förutsäga avgränsande lådor och segmentering masker för objekt, och omvandlar layouten till en bild med ett kaskadförfining nätverk. Nätverket utbildas motsträvigt mot ett par discriminatorer för att säkerställa realistiska resultat. Vi validerar vår strategi för Visual Genome och COCO-Stuff, där kvalitativa resultat, ablationer och användarstudier visar vår metods förmåga att generera komplexa bilder med flera objekt.
Johnson och Al. REF extrahera objekt och funktioner från en scen graf med en graf konvolutionella neurala nätverk.
Image Generation from Scene Graphs
{'venue': '2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition', 'journal': '2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition', 'mag_field_of_study': ['Computer Science']}