I detta dokument föreslår vi ett uppmärksamhetsgenerativt ADversarial Network (AttnGAN) som möjliggör uppmärksamhetsdriven, flerstegsförfining för finkornig text-till-bild-generering. Med ett nytt uppmärksamhetsnätverk kan At-tnGAN syntetisera finkorniga detaljer i olika delregioner av bilden genom att uppmärksamma de relevanta orden i beskrivningen av det naturliga språket. Dessutom föreslås en djupgående multimodal likhetsmodell för att beräkna en finkornig bildtext som matchar förlust för utbildning av generatorn. Den föreslagna AttnGAN överträffar avsevärt den tidigare tekniken, vilket ökar den bästa rapporterade startpoängen med 14,14 % på CUB-datauppsättningen och 170,25 % på den mer utmanande COCO-datauppsättningen. En detaljerad analys utförs också genom att visualisera uppmärksamhet lager av AttnGAN. Det visar för första gången att den skiktade uppmärksamhet GAN kan automatiskt välja villkoret på ordnivå för att generera olika delar av bilden.
I REF, Xu et al. Använd DAMSM (Deep Attentional Multimodal Likformity Model) för textinbäddning.
AttnGAN: Fine-Grained Text to Image Generation with Attentional Generative Adversarial Networks
{'venue': '2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition', 'journal': '2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition', 'mag_field_of_study': ['Computer Science']}