Bildtextering har visat modeller som kan generera rimlig text givet indatabilder eller videor. Dessutom har det senaste arbetet med bildgenerering uppvisat betydande förbättringar i bildkvaliteten när text används som tidigare. Vårt arbete knyter samman dessa begrepp genom att skapa en arkitektur som möjliggör dubbelriktad generering av bilder och text. Vi kallar detta nätverk Multi-Modal Vector Representation (MMVR). Tillsammans med MMVR föreslår vi två förbättringar av den textkonditionerade bildgenereringen. För det första införs en ngrammetrisk kostnadsfunktion som generaliserar bildtexten med avseende på bilden. För det andra visas flera semantiskt liknande meningar för att hjälpa till att skapa bättre bilder. Kvalitativa och kvantitativa utvärderingar visar att MMVR förbättrar befintliga textkonditionerade bildgenereringsresultat med över 20 %, samtidigt som visuella och textrelaterade villkor integreras.
REF introducerar en dubbelriktad arkitektur som gör både text-till-bild och bildtext.
Semantically Invariant Text-to-Image Generation
{'venue': '2018 25th IEEE International Conference on Image Processing (ICIP)', 'journal': '2018 25th IEEE International Conference on Image Processing (ICIP)', 'mag_field_of_study': ['Computer Science', 'Mathematics']}