Användningen av Recurrent Neural Networks för videotextning har nyligen fått mycket uppmärksamhet, eftersom de kan användas både för att koda indatavideon och för att generera motsvarande beskrivning. I detta dokument presenterar vi ett återkommande videokodningssystem som kan upptäcka och utnyttja videons hierarkiska struktur. Till skillnad från den klassiska encoder-dekoder-metoden, där en video kodas kontinuerligt av ett återkommande lager, föreslår vi en ny LSTM-cell, som kan identifiera diskontinuitetspunkter mellan ramar eller segment och ändra tidsanslutningarna i kodningsskiktet i enlighet därmed. Vi utvärderar vår strategi på tre storskaliga dataset: Montreal Video Annotation dataset, MPII Movie Description dataset och Microsoft Video Description Corpus. Experiment visar att vårt tillvägagångssätt kan upptäcka lämpliga hierarkiska representationer av inmatningsvideor och förbättra de senaste resultaten på filmbeskrivningsdataset.
REF föreslog en LSTM-cell som identifierar diskontinuitetspunkter mellan ramar eller segment och ändrar tidsanslutningarna för kodningsskiktet i enlighet med detta.
Hierarchical Boundary-Aware Neural Encoder for Video Captioning
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Computer Science']}