I detta dokument behandlas problemet med att manipulera bilder med hjälp av beskrivning av naturligt språk. Vår uppgift är att semantiskt ändra ett objekts visuella egenskaper i en bild enligt den text som beskriver det nya visuella utseendet. Även om befintliga metoder syntetiserar bilder med nya attribut, de inte helt bevara textirrelevant innehåll i den ursprungliga bilden. I detta dokument föreslår vi text-adaptive generative adversarial network (Tagan) att generera semantiskt manipulerade bilder samtidigt som text-orelevant innehåll bevaras. Nyckeln till vår metod är den text-adaptive discriminator som skapar ordnivå lokala discriminatorer enligt indatatext för att klassificera finkorniga attribut självständigt. Med denna discriminator lär sig generatorn att generera bilder där endast regioner som motsvarar den givna texten ändras. Experimentella resultat visar att vår metod överträffar befintliga metoder på CUB och Oxford-102 datauppsättningar, och våra resultat föredrogs främst i en användarstudie. Omfattande analys visar att vår metod effektivt kan lösgöra visuella attribut och producera tilltalande utgångar.
I Ref föreslogs en textadaptiv diskriminator för att använda information på ordnivå.
Text-Adaptive Generative Adversarial Networks: Manipulating Images with Natural Language
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Computer Science']}