ABSTRACT Gesture igenkänning syftar till att känna igen meningsfulla rörelser av mänskliga kroppar, och är av yttersta vikt i intelligenta människa-dator/robot interaktioner. I detta dokument presenterar vi en multimodal metod för erkännande av gester som bygger på 3-D-konvolutions- och konvolutionsnätverk på lång sikt (LSTM). Den föreslagna metoden lär sig först kortsiktiga spatiotemporala funktioner av gester genom 3-D-konvolutionella neurala nätverk, och sedan lär sig långsiktiga spatiotemporala funktioner genom konvolutionella LSTM-nätverk baserat på de extraherade kortsiktiga spatiotemporala funktioner. Dessutom utvärderas finjustering bland multimodala data, och vi finner att det kan betraktas som en valfri färdighet för att förhindra överbemanning när det inte finns några förtränade modeller. Den föreslagna metoden är verifierad på ChaLearn LAP storskaliga isolerade gest data set (IsoGD) och Sheffield Kinect gest (SKIG) data set. Resultaten visar att vår föreslagna metod kan få den senaste igenkänningsnoggrannheten (51,02 % på valideringsuppsättningen IsoGD och 98,89 % på SKIG).
En multimodal metod för igenkänning av gester baserad på 3D-konvolution och en konvolutionell modell baserad på lång sikt som utvecklats för igenkänning av gester.
Multimodal Gesture Recognition Using 3-D Convolution and Convolutional LSTM
{'venue': 'IEEE Access', 'journal': 'IEEE Access', 'mag_field_of_study': ['Computer Science']}