Att skapa realistiska bilder från textbeskrivningar är ett utmanande problem och har många tillämpningar såsom bildredigering eller datorstödd design. Trots de senaste framstegen med denna text-till-bild-generation baserad på GAN, genererar realistiska bilder från komplexa beskrivningar med många enheter i en allmän scen ännu inte uppnås i litteraturen. I närvaro av flera enheter blir förhållandet mellan enheter viktigt eftersom de villkorar var varje enhet befinner sig. Vi föreslår ett GAN-baserat end-to-end-nätverk som lär sig den visuella relationslayouten mellan enheter från givna texter och villkor layouten i att generera bilder. Vårt föreslagna nätverk består av den visuella-relation layout modulen och stapling-Gans. Den visuella-relation layout modulen förutsäger avgränsande-boxar för alla de enheter som anges i en inmatningstext så att var och en av dem unikt motsvarar varje enhet samtidigt behålla sina involverade relationer. Den visuella relationslayouten erhålls genom att samla alla de avgränsande rutorna, som återspeglar den scenstruktur som ges i text. Stapling-Gans är stacken av tre GANs konditionerade på utgången av tidigare GAN och visuell-relation layout, konsekvent fånga scenen struktur. Vårt nätverk återger realistiskt enheternas detaljer i hög upplösning samtidigt som scenens struktur bibehålls. Experimentella resultat på två offentliga datauppsättningar visar resultat av vår metod mot toppmoderna metoder.
REF genererar en visuell-relation scen layout baserad på bildtext.
Visual-Relation Conscious Image Generation from Structured-Text
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Computer Science']}