En naturlig bild förmedlar vanligtvis rikt semantiskt innehåll och kan ses från olika vinklar. Befintliga bild beskrivningsmetoder begränsas till stor del av små uppsättningar av partiska visuella stycke annoteringar, och misslyckas med att täcka rika underliggande semantik. I detta dokument undersöker vi ett halvövervakat stycke generativt ramverk som kan syntetisera olika och semantiskt sammanhängande styckebeskrivningar genom att resonera över lokala semantiska regioner och utnyttja språklig kunskap. Det föreslagna Recurrent Topic-Transition Generative Adversarial Network (RTT-GAN) bygger en kontradiktorisk ram mellan en strukturerad punktgenerator och flernivås punktdiskriminatorer. Punktgeneratorn genererar meningar regelbundet genom att införa regionala visuella och språkliga uppmärksamhetsmekanismer vid varje steg. Kvaliteten på de framtagna punkternas meningar bedöms av kontradiktorer på flera nivåer från två aspekter, nämligen rimlighet på meningsnivå och ämnesövergångskonsistens på punktnivå. Den gemensamma kontradiktoriska utbildningen av RTT-GAN driver modellen för att skapa realistiska stycken med smidig logisk övergång mellan meningsämnen. Omfattande kvantitativa experiment på bild och video stycke dataset visar effektiviteten av vår RTT-GAN i både övervakade och semi-övervakade inställningar. Kvalitativa resultat på att berätta olika historier för en bild verifierar tolkningen av RTT-GAN.
Recurrent Topic-Transition Generative Adversarial Network (RTT-GAN) REF bygger en kontradiktorisk ram mellan en strukturerad styckegenerator och flera punktdiskriminatorer.
Recurrent Topic-Transition GAN for Visual Paragraph Generation
{'venue': '2017 IEEE International Conference on Computer Vision (ICCV)', 'journal': '2017 IEEE International Conference on Computer Vision (ICCV)', 'mag_field_of_study': ['Computer Science']}