Mänsklig aktivitetsförståelse med 3D/djupsensorer har fått ökad uppmärksamhet inom multimediabearbetning och interaktion. Detta arbete syftar till att utveckla en ny djup modell för automatisk aktivitetsigenkänning från RGB-D-videor. Vi representerar varje mänsklig aktivitet som en ensemble av kubikliknande videosegment, och lär oss att upptäcka de timliga strukturerna för en kategori av aktiviteter, dvs.. hur de verksamheter som ska brytas ned när det gäller klassificering. Vår modell kan betraktas som en strukturerad djup arkitektur, eftersom den utökar de konvolutionella neurala nätverken (CNN) genom att införliva strukturalternativ. Speciellt bygger vi nätverket som består av 3D-konvolutioner och maximal-pooling operatörer över videosegmenten, och introducerar latenta variabler i varje convolutional lager som manipulerar aktiveringen av neuroner. Vår modell går alltså framåt i två avseenden: i) den verkar direkt på de råa insatsvarorna (djupdata i grayskala) för att göra erkännande i stället för att förlita sig på handgjorda funktioner, och ii) modellens struktur kan anpassas dynamiskt med hänsyn till de tidsmässiga variationerna i människans aktiviteter, dvs. Nätverkskonfigurationen får delvis aktiveras vid slutsatsen. För modellträning föreslår vi en EM-typoptimeringsmetod som iterativt (i) upptäcker den latenta strukturen genom att bestämma de nedbrutna åtgärderna för varje utbildningsexempel, och (ii) lär sig nätverksparametrarna genom att använda back-propagation algoritmen. Vårt tillvägagångssätt är validerat i utmanande scenarier och överträffar toppmoderna metoder. Dessutom presenteras en stor databas för mänsklig aktivitet med RGB-D-videor.
REF har utvecklat en ny djupgående modell för erkännande av aktiviteter i humen.
3D Human Activity Recognition with Reconfigurable Convolutional Neural Networks
{'venue': "MM '14", 'journal': None, 'mag_field_of_study': ['Computer Science']}