ABSTRACT Recurrent neural network (RNN) and long short-term memory (LSTM) har uppnått stor framgång i behandlingen av sekventiella multimediadata och gav de senaste resultaten i taligenkänning, digital signalbehandling, videobehandling och textdataanalys. I detta dokument föreslår vi en ny åtgärdsigenkänningsmetod genom att behandla videodata med hjälp av konvolutionella neurala nätverk (CNN) och djup tvåvägs-LSTM (DB-LSTM) nätverk. Först, djupa funktioner extraheras från varje sjätte ram i videorna, vilket bidrar till att minska redundans och komplexitet. Därefter lär man sig sekventiell information bland ramfunktioner med hjälp av DB-LSTM-nätverk, där flera lager staplas ihop i både framåtpassage och bakåtpass av DB-LSTM för att öka dess djup. Den föreslagna metoden är kapabel att lära sig långsiktiga sekvenser och kan bearbeta långa videor genom att analysera funktioner för ett visst tidsintervall. Experimentella resultat visar på betydande förbättringar i erkännandet av åtgärder med hjälp av den föreslagna metoden för tre uppsättningar referensdata, inklusive UCF-101, YouTube 11-åtgärder och HMDB51 jämfört med de senaste metoderna för erkännande av åtgärder. INDEX TERMS Åtgärdsigenkänning, djupinlärning, återkommande neurala nätverk, djup tvåvägslångt korttidsminne, och konvolution neurala nätverk.
Ullah m.fl. I REF föreslås en metod för erkännande av mänskliga åtgärder genom kombination med nätverket CNN och nätverket LSTM (DB-LSTM).
Action Recognition in Video Sequences using Deep Bi-Directional LSTM With CNN Features
{'venue': 'IEEE Access', 'journal': 'IEEE Access', 'mag_field_of_study': ['Computer Science']}