Ramverket encode-decoder har visat sig vara framgångsrikt på senare tid när det gäller bildtextning. Visuell uppmärksamhet, som är bra på detaljrikedom, och semantisk uppmärksamhet, som är bra på helhet, har föreslagits separat för att marken bildtexten på bilden. I detta dokument föreslår vi Stepwise Image-Topic Merging Network (SimNet) som använder sig av de två typerna av uppmärksamhet samtidigt. Vid varje tillfälle när man skapar bildtexten, sammanfogar dekodern adaptivt den uppmärksamma informationen i de extraherade ämnena och bilden enligt det genererade sammanhanget, så att den visuella informationen och den semantiska informationen kan kombineras effektivt. Den föreslagna metoden utvärderas utifrån två uppsättningar referensvärden och når de senaste resultaten.
REF försöker använda en sammanslagningsgrind för att slå samman informationen i bilden och ämnena.
simNet: Stepwise Image-Topic Merging Network for Generating Detailed and Comprehensive Image Captions
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Computer Science']}