Nyligen, djupt lärande, särskilt djupa Convolutional Neural Networks (ConvNets), har uppnått överväldigande noggrannhet med snabb bearbetningshastighet för bildklassificering. Inkorporera temporal struktur med djupa ConvNets för video representation blir ett grundläggande problem för videoinnehåll analys. I detta dokument föreslår vi ett nytt tillvägagångssätt, nämligen Hierarkical Recurrent Neural Encoder (HRNE), för att utnyttja tidsmässig information om videor. Jämfört med de senaste videorepresentationerna drar man slutsatsen att detta dokument ger följande tre bidrag. För det första, vår HRNE kan effektivt utnyttja video temporal struktur i ett längre intervall genom att minska längden på indataflödet, och sammanställa flera på varandra följande ingångar på en högre nivå. För det andra minskas beräkningsverksamheten avsevärt samtidigt som man uppnår mer icke-linjäritet. För det tredje kan HRNE upptäcka tidsmässiga övergångar mellan rambitar med olika kornstorlekar, dvs. Den kan modellera tidsmässiga övergångar mellan ramar och övergångar mellan segment. Vi använder den nya metoden för videotextning där tidsinformation spelar en avgörande roll. Experiment visar att vår metod överträffar state-of-the-art på videotextning riktmärken.
För att undersöka tidsmässiga förhållanden på lång sikt föreslog Ref en hierarkisk RNN-kodare på två nivåer som begränsar indatans längd och möjliggör tidsmässiga övergångar mellan segment.
Hierarchical Recurrent Neural Encoder for Video Representation with Application to Captioning
{'venue': '2016 IEEE Conference on Computer Vision and Pattern Recognition (CVPR)', 'journal': '2016 IEEE Conference on Computer Vision and Pattern Recognition (CVPR)', 'mag_field_of_study': ['Computer Science']}