Vi föreslår ett nytt hierarkiskt tillvägagångssätt för syntes av text till bild genom att sluta semantisk layout. Istället för att lära sig en direkt kartläggning från text till bild, vår algoritm sönderdela generationsprocessen i flera steg, där den först konstruerar en semantisk layout från texten av layoutgeneratorn och omvandlar layouten till en bild av bildgeneratorn. Den föreslagna layoutgeneratorn konstruerar gradvis en semantisk layout på ett grovt-till-fint sätt genom att generera lådor som avgränsar objekt och förfina varje låda genom att uppskatta objektformer inuti lådan. Bildgeneratorn synthesizes en bild betingad på den inferred semantic layouten, som ger en användbar semantisk struktur av en bild som matchar med textbeskrivningen. Vår modell genererar inte bara semantiskt mer meningsfulla bilder, utan möjliggör också automatisk annotering av genererade bilder och användarkontrollerad genereringsprocess genom att ändra den genererade scenlayouten. Vi visar kapaciteten hos den föreslagna modellen på utmanande MS-COCO dataset och visar att modellen kan avsevärt förbättra bildkvaliteten, tolkningen av utdata och semantisk anpassning till indatatext över befintliga metoder.
REF genererade först en semantisk layoutkarta över objekten i bilden och sedan betingade på kartan och bildtexten för att generera semantiskt meningsfulla 128 × 128 bilder.
Inferring Semantic Layout for Hierarchical Text-to-Image Synthesis
{'venue': '2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition', 'journal': '2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition', 'mag_field_of_study': ['Computer Science']}