Att klassificera videor efter innehåll semantik är ett viktigt problem med ett brett spektrum av tillämpningar. I detta dokument föreslår vi en hybrid djupinlärning ram för videoklassificering, som kan modellera statisk rumslig information, kortsiktiga rörelser, samt långsiktiga temporal ledtrådar i videorna. Specifikt utvinns de rumsliga och kortsiktiga rörelsefunktionerna separat av två konvolutionella neurala nätverk (CNN). Dessa två typer av CNN-baserade funktioner kombineras sedan i en reglerad funktion fusionsnätverk för klassificering, som kan lära sig och utnyttja funktionsrelationer för förbättrad prestanda. Dessutom, Long Short Term Memory (LSTM) nätverk tillämpas ovanpå de två funktionerna för att ytterligare modellera långsiktiga temporal ledtrådar. Det viktigaste bidraget från detta arbete är det hybridlärande ramverk som kan modellera flera viktiga aspekter av videodata. Vi visar också att (1) kombinera rumsliga och kortsiktiga rörelsefunktioner i det regulariserade fusionsnätverket är bättre än direkt klassificering och fusion med CNN med ett softmax-skikt, och (2) den sekvensbaserade LSTM är mycket komplement till den traditionella klassificeringsstrategin utan att ta hänsyn till temporal ramordningar. Omfattande experiment utförs på två populära och utmanande riktmärken, UCF-101 Human Actions och Columbia Consumer Videos (CCV). När det gäller båda riktmärkena uppnår vårt ramverk mycket konkurrenskraftiga resultat: 91,3 % på UCF-101 och 83,5 % på CVC.
Andra arbeten använder Recurrent Neural Networks med Long Short Term Memory REF till modellsekvenser över tid.
Modeling Spatial-Temporal Clues in a Hybrid Deep Learning Framework for Video Classification
{'venue': "MM '15", 'journal': None, 'mag_field_of_study': ['Computer Science']}