Vi presenterar en strategi som utnyttjar hierarkiska Recurrent Neural Networks (RNN) för att ta itu med problemet med videotext, dvs. skapa en eller flera meningar för att beskriva en realistisk video. Vårt hierarkiska ramverk innehåller en meningsgenerator och en paragrafgenerator. Den mening generator producerar en enkel kort mening som beskriver en specifik kort video intervall. Den utnyttjar både mekanismer för tids- och rumslig uppmärksamhet för att selektivt fokusera på visuella element under generering. Punktgeneratorn fångar det inter-sentence beroendet genom att ta som indata den Sendential inbäddning som produceras av meningsgeneratorn, kombinera den med punkthistoriken, och utdata den nya ursprungliga tillstånd för meningsgeneratorn. Vi utvärderar vår strategi för två storskaliga referensdataset: YouTubeClips och TACoS-MultiLevel. Experimenten visar att vårt tillvägagångssätt avsevärt överträffar de nuvarande toppmoderna metoderna med BLEU@4 poäng 0.499 respektive 0,305.
REF tillämpade den visuella uppmärksamhetsmekanismen för videotextning.
Video Paragraph Captioning Using Hierarchical Recurrent Neural Networks
{'venue': '2016 IEEE Conference on Computer Vision and Pattern Recognition (CVPR)', 'journal': '2016 IEEE Conference on Computer Vision and Pattern Recognition (CVPR)', 'mag_field_of_study': ['Computer Science']}