Vi föreslår en semantisk uppmärksamhetsmekanism för bildtextgenerering, kallad textvillkorad semantisk uppmärksamhet, som gör det möjligt för bildgeneratorn att automatiskt lära sig vilka delar av bildfunktionen som ska fokusera på tidigare genererad text. För att få textrelaterade bildfunktioner för vår uppmärksamhetsmodell, förbättrar vi också den vägledande Long Short-Term Memory (gLSTM) strukturen genom att bakåtförstärka träningsförlusten genom semantisk vägledning för att finjustera CNN-vikterna. I motsats till befintliga gLSTM-metoder, såsom emb-gLSTM, gör vår finjusterade modell att vägledningsinformationen blir mer textrelaterad. Detta möjliggör också gemensamt lärande av bilden inbäddning, text inbäddning, semantisk uppmärksamhet och språkmodell med en enkel nätverksarkitektur på ett end-to-end sätt. Vi implementerar vår modell baserad på NeuralTalk2, en öppen källkod bildtextionsgenerator, och testa den på MSCOCO dataset. Vi utvärderar den föreslagna metoden med tre mått: BLEU, METEOR och CIDER. De föreslagna metoderna överträffar de senaste metoderna.
Zhou m.fl. I REF föreslogs en textvillkorad uppmärksamhetsmekanism som gör det möjligt för bildgeneratorn att fokusera på vissa bildfunktioner som bygger på tidigare genererade texter.
Image Caption Generation with Text-Conditional Semantic Attention
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Computer Science']}