ABSTRACT Uppmärksamhetsmekanism har i stor utsträckning använts i videotextningsuppgifter, vilket möjliggör vidareutveckling av djupare visuell förståelse. De flesta befintliga videotextningsmetoder använder dock uppmärksamhetsmekanismen på ramnivå, som bara modellerar tidsstrukturen och genererade ord, men ignorerar den rumsliga information på regionnivå som ger exakta visuella funktioner som motsvarar det semantiska innehållet. I detta dokument föreslår vi en finkornig rumslig-temporell uppmärksamhetsmodell (FSTA), och den rumsliga informationen om objekt som visas i videon kommer att vara vårt främsta bekymmer. I den föreslagna FSTA, uppnår vi den rumsliga-hård uppmärksamhet på en finkornig region nivå av objekt genom mask pooling modulen och beräkna temporal mjuk uppmärksamhet genom att använda ett tvålagers LSTM-nätverk med uppmärksamhetsmekanism för att generera meningar. Vi testar den föreslagna modellen på två referensdatauppsättningar, nämligen MSVD och MSR-VTT. Resultaten visar att vår föreslagna FSTA-modell kan uppnå konkurrenskraftiga resultat mot konstens tillstånd på båda dataseten. INDEX TERMS Finkornig, rumslig-temporal, mask pooling, video bildtextning.
Liu m.fl. REF föreslog mask pooling modulen i videotextning för att poola funktionerna enligt formen på maskerna.
A Fine-Grained Spatial-Temporal Attention Model for Video Captioning
{'venue': 'IEEE Access', 'journal': 'IEEE Access', 'mag_field_of_study': ['Computer Science']}