Vi föreslår ett tillvägagångssätt för att lära sig spatio-temporala funktioner i videor från mellanliggande visuella representationer som vi kallar "percepts" med hjälp av Gated-Recurrent-Unit Recurrent Networks (GRUs). Vår metod bygger på percepts som extraheras från alla nivåer av en djup convolutional nätverk tränas på den stora ImageNet dataset. Även hög nivå percepts innehåller mycket diskriminerande information, de tenderar att ha en låg-spatial upplösning. Låg nivå percepts, å andra sidan, bevara en högre rumslig upplösning från vilken vi kan modellera finare rörelsemönster. Med hjälp av låg nivå percepts, kan dock leda till högdimensionella video representationer. För att mildra denna effekt och kontrollera antalet parametrar introducerar vi en variant av GRU-modellen som utnyttjar konvolutionsverksamheten för att upprätthålla gles konnektivitet för modellenheterna och dela parametrar över de rumsliga inmatningsplatserna. Vi validerar empiriskt vår strategi för både erkännande av mänskliga handlingar och videotextningsuppgifter. I synnerhet uppnår vi resultat som är likvärdiga med toppmoderna på YouTube2Text dataset med hjälp av en enklare bildtext-dekoder modell och utan extra 3D CNN-funktioner.
Ballas m.fl. REF använde en Convolutional Gated Recurrent Unit (ConvGRU) som utnyttjar information från olika rumsliga nivåer av aktiveringarna.
Delving Deeper into Convolutional Networks for Learning Video Representations
{'venue': 'ICLR 2016', 'journal': 'arXiv: Computer Vision and Pattern Recognition', 'mag_field_of_study': ['Computer Science']}