Den senaste tidens framsteg har gjorts när det gäller att använda uppmärksamhetsbaserade enkoder-dekoderramar för videotextning. De flesta befintliga dekodrar använder dock uppmärksamhetsmekanismen för varje genererat ord, inklusive både visuella ord (t.ex. "gun" och "shooting") och icke-visuella ord (t.ex. "den", "a"). Dessa icke-visuella ord kan dock lätt förutsägas med hjälp av naturlig språkmodell utan hänsyn till visuella signaler eller uppmärksamhet. Att införa en mekanism för att uppmärksamma icke-visuella ord skulle kunna vilseleda och minska videotexternas övergripande prestanda. För att ta itu med denna fråga föreslår vi en hierarkisk LSTM med justerad tidsuppmärksamhet (hLSTMat) för videotextning. Det föreslagna ramverket utnyttjar den tidsbundna uppmärksamheten för att välja specifika ramar för att förutsäga de relaterade orden, medan den justerade tidsuppmärksamheten är att avgöra om den ska vara beroende av den visuella informationen eller den språkkontextinformationen. Dessutom är en hierarkisk LSTMs utformad för att samtidigt beakta både låg nivå visuell information och hög nivå språkkontext information för att stödja videotextgenerering. För att visa effektiviteten i vårt föreslagna ramverk testar vi vår metod på två vanliga datauppsättningar: MSVD och MSR-VTT, och experimentella resultat visar att vårt tillvägagångssätt överträffar de senaste metoderna på båda två datauppsättningar.
Särskilt Song et al. I Ref föreslogs en hierarkisk språkdekoder för att skapa en mening med beaktande av både visuell information på låg nivå och information om sammanhang på hög nivå.
Hierarchical LSTM with Adjusted Temporal Attention for Video Captioning
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Computer Science']}