och Recursive Neural Networks (RNN) för videotextning. Dessa metoder fokuserar främst på att skräddarsy sekvensinlärning genom RNN för bättre bildtextgenerering, medan off-the-shelf visuella funktioner lånas från CNN. Vi hävdar att noggrann design av visuella funktioner för denna uppgift är lika viktigt, och presentera en visuell funktion kodning teknik för att generera semantiskt rika bildtexter med Gated Recurrent Units (GRUs). Vår metod inbäddar rik temporal dynamik i visuella funktioner genom att hierarkiskt tillämpa Short Fourier Transform till CNN funktioner i hela videon. Den härleder dessutom semantik på hög nivå från en objektdetektor för att berika representationen med den rumsliga dynamiken hos de upptäckta objekten. Den slutliga representationen projiceras till ett kompakt utrymme och matas till en språkmodell. Genom att lära oss en relativt enkel språkmodell bestående av två GRU-skikt etablerar vi nya toppmoderna MSVD- och MSR-VTT-datauppsättningar för METEOR- och ROUGE L-mått.
REF ) inbäddad temporal dynamik i visuella funktioner genom hierarkiskt tillämpa Short Fourier Transform till CNN-funktioner.
Spatio-Temporal Dynamics and Semantic Attribute Enriched Visual Encoding for Video Captioning
{'venue': '2019 IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR)', 'journal': '2019 IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR)', 'mag_field_of_study': ['Computer Science']}