Skelettbaserat erkännande av mänskliga åtgärder har uppmärksammats mycket under de senaste åren. Nya verk försökte utnyttja återkommande neurala nätverk för att modellera temporal beroenden mellan 3D-positionella konfigurationer av mänskliga kroppsleder för bättre analys av mänskliga aktiviteter i skelettdata. Det föreslagna arbetet utvidgar denna idé till rumslig domän såväl som temporal domän för att bättre analysera de dolda källorna till handlingsrelaterad information inom det mänskliga skelettet sekvenser i båda dessa domäner samtidigt. Baserat på den bildliga strukturen av Kinects skelettdata föreslås också en effektiv trädstrukturbaserad traversalram. För att hantera bullret i skelettdata införs en ny gatingmekanism inom LSTM-modulen, med vilken nätverket kan lära sig tillförlitligheten av sekventiella data och därmed justera effekten av indata på uppdateringsförfarandet för den långsiktiga kontextrepresentation som lagras i enhetens minnescell. Dessutom inför vi en ny multimodal fusionsstrategi inom LSTM-enheten i detta dokument. De omfattande experimentella resultaten av sju utmanande referensdatauppsättningar för erkännande av mänskliga åtgärder visar hur effektiv den föreslagna metoden är. Rekommenderas för godkännande av I. Laptev. För information om att få reprints av denna artikel, skicka e-post till: reprints@ieee.org, och referera till Digital Object Identifier nedan.
I REF fokuserade författarna på 3D-skelettbaserad åtgärdsigenkänning med hjälp av LSTM-nätverk.
Skeleton-Based Action Recognition Using Spatio-Temporal LSTM Network with Trust Gates
{'venue': 'IEEE Transactions on Pattern Analysis and Machine Intelligence', 'journal': 'IEEE Transactions on Pattern Analysis and Machine Intelligence', 'mag_field_of_study': ['Computer Science', 'Medicine']}