I det här dokumentet tar vi upp problemet med mänsklig handlingsigenkänning från videosekvenser. Inspirerade av de föredömliga resultat som erhållits via automatisk funktionsinlärning och djupt lärande i datorseende fokuserar vi vår uppmärksamhet på att lära sig framträdande rumsliga funktioner via ett konvolutionellt neuralt nätverk (CNN) och sedan kartlägga deras tidsmässiga relation med hjälp av Long-Short-TermMemory (LSTM) nätverk. Vårt bidrag i detta dokument är ett djupt fusionsramverk som effektivare utnyttjar rumsliga funktioner från CNN med temporala funktioner från LSTM-modeller. Vi utvärderar också i stor utsträckning deras styrkor och svagheter. Vi finner att genom att kombinera båda uppsättningarna av funktioner, de fullt anslutna funktioner fungerar effektivt som en uppmärksamhetsmekanism för att styra LSTM till intressanta delar av den konvolutionella funktionssekvensen. Betydelsen av vår fusionsmetod är dess enkelhet och effektivitet jämfört med andra toppmoderna metoder. Utvärderingsresultaten visar att denna hierarkiska flerströmsfusionsmetod har högre prestanda jämfört med enströmskartläggningsmetoder som gör det möjligt för den att uppnå hög noggrannhet undermåliga aktuella state-of-the-art-metoder i tre allmänt använda databaser: UCF11, UCFSports, jHMDB.
Ytterligare ett arbete utformade en djup fusion ram där med hjälp av LSTMs, representativ tidsinformation har extraherats och kan nå state-of-theart resultat på tre allmänt använda dataset REF.
Two Stream LSTM: A Deep Fusion Framework for Human Action Recognition
{'venue': '2017 IEEE Winter Conference on Applications of Computer Vision (WACV)', 'journal': '2017 IEEE Winter Conference on Applications of Computer Vision (WACV)', 'mag_field_of_study': ['Computer Science']}