Abstract-Action-igenkänning med 3D skelettsekvenser blev populär på grund av dess hastighet och robusthet. De nyligen föreslagna konvolutionella neurala nätverk (CNNs)-baserade metoder visar en bra prestanda i att lära spatio-temporala representationer för skelettsekvenser. Trots den goda igenkänningsnoggrannhet som uppnåtts genom tidigare CNN-baserade metoder fanns det två problem som potentiellt kunde begränsa prestandan. För det första, tidigare skelett representationer genererades av kätting leder med en fast ordning. Motsvarande semantiska betydelse var oklar och den strukturella informationen bland lederna gick förlorad. För det andra hade tidigare modeller ingen förmåga att fokusera på informativa leder. Uppmärksamhetsmekanismen var viktig för skelett-baserad åtgärdsigenkänning eftersom olika leder bidrog ojämlikt till rätt igenkännande. För att lösa dessa två problem föreslog vi en ny CNN-baserad metod för att identifiera skelettbaserade åtgärder. Vi gjorde först om skelettet representationer med en djup-första träd traversal ordning, vilket förbättrade den semantiska innebörden av skelettet bilder och bättre bevarade tillhörande strukturell information. Vi föreslog sedan den allmänna tvågrenig uppmärksamhet arkitektur som automatiskt fokuserade på spatio-temporala viktiga stadier och filtrerade bort opålitliga gemensamma förutsägelser. Baserat på den föreslagna allmänna arkitekturen utformade vi ett globalt nätverk för långsiktig uppmärksamhet med förfinade grenstrukturer. Dessutom, för att justera kärnans spatio-temporala proportioner och bättre fånga långsiktiga beroenden, föreslog vi en sub-sekvens uppmärksamhet nätverk (SSAN) som tog sub-image sekvenser som indata. Vi visade att tvågrenens uppmärksamhetsarkitektur kunde kombineras med SSAN för att ytterligare förbättra prestandan. Våra experimentresultat på datasetet NTU RGB+D och SBU:s kinetiska interaktionsdata överträffade den senaste tekniken. Modellen validerades ytterligare på bullriga uppskattade poser från undergrupperna i UCF101-datamängden och kinetikdatamängden. Index Terms-Action och aktivitetsigenkänning, video förståelse, mänsklig analys, visuell uppmärksamhet.
Yang m.fl. REF hävdar att konkateteringsprocessen att kedja alla leder med en fast ordning förvandlas till brist på semantisk mening och leder till förlust i skelettstrukturinformation.
Action Recognition With Spatio–Temporal Visual Attention on Skeleton Image Sequences
{'venue': 'IEEE Transactions on Circuits and Systems for Video Technology', 'journal': 'IEEE Transactions on Circuits and Systems for Video Technology', 'mag_field_of_study': ['Computer Science']}