Abstract-This paper beskriver en ny metod som kallas Deep Dynamic Neural Networks (DDNN) för multimodal gestigenkänning. En delvis övervakad hierarkisk dynamisk ram baserad på en Hidden Markov Model (HMM) föreslås för samtidig gest segmentering och erkännande där skelett gemensam information, djup och RGB-bilder, är multimodala indata observationer. Till skillnad från de flesta traditionella tillvägagångssätt som förlitar sig på konstruktion av komplexa handgjorda funktioner, lär sig vår strategi hög nivå spatiotemporala representationer med hjälp av djupa neurala nätverk som lämpar sig för inmatningen modalitet: en Gaussian-Bernouilli Deep Belief Network (DBN) för att hantera skelettdynamik, och en 3D Convolutional Neural Network (3DCNN) för att hantera och säkring partier av djup och RGB-bilder. Detta uppnås genom modellering och inlärning av sannolikheten för utsläpp av HMM som krävs för att dra slutsatsen gestsekvensen. Detta rent datadrivna tillvägagångssätt uppnår en Jaccard index poäng på 0,81 i ChaLearn LAP gest spotting utmaning. Prestanda är i nivå med en mängd olika toppmoderna handjusterade funktionsbaserade metoder och andra inlärningsbaserade metoder, vilket öppnar dörren för användning av djupinlärningsteknik för att ytterligare utforska multimodala tidsseriedata.
För den multimodala gesten segmentering och erkännande, Wu et al. REF presenterade en delvis övervakad hierarkisk dynamisk ram som kallas Deep Dynamic Neural Networks (DDNN).
Deep Dynamic Neural Networks for Multimodal Gesture Segmentation and Recognition
{'venue': 'IEEE Transactions on Pattern Analysis and Machine Intelligence', 'journal': 'IEEE Transactions on Pattern Analysis and Machine Intelligence', 'mag_field_of_study': ['Computer Science', 'Medicine']}