I detta arbete formulerar vi problemet med bildtext som en multimodal översättningsuppgift. Analog till maskinöversättning, presenterar vi en sekvens-till-sekvens återkommande neurala nätverk (RNN) modell för bildtextgenerering. Olika från de flesta befintliga arbeten där hela bilden representeras av convolutional neural network (CNN) funktionen, föreslår vi att representera ingångsbilden som en sekvens av upptäckta objekt som matas som källsekvensen av RNN-modellen. På så sätt kan den sekventiella representationen av en bild naturligt översättas till en sekvens av ord, som målsekvensen för RNN-modellen. För att representera bilden på ett sekventiellt sätt, extraherar vi objekten funktioner i bilden och ordna dem i en ordning med hjälp av konvolutionella neurala nätverk. För att ytterligare utnyttja den visuella informationen från de kodade objekten införs ett sekventiellt uppmärksamhetsskikt för att selektivt ta hand om de objekt som är relaterade till att generera motsvarande ord i meningarna. Omfattande experiment genomförs för att validera den föreslagna metoden för populära referensdataset, dvs. MS COCO, och den föreslagna modellen överträffar de senaste metoderna i alla mätvärden efter datasetets uppdelningar av tidigare arbeten. Den föreslagna metoden utvärderas också av utvärderingsservern för MS COCO-rubrikering, och uppnår mycket konkurrenskraftiga resultat, t.ex. en CIDER på 1,029 (c5) och 1,064 (c40).
En ren sekvens-till-sekvens arkitektur för bildtextning föreslås i REF.
MAT: A Multimodal Attentive Translator for Image Captioning
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Computer Science']}