De mest framgångsrika videobaserade metoderna för erkännande av mänskliga åtgärder bygger på funktionsrepresentationer som extraheras med hjälp av Convolutional Neural Networks (CNN). Inspirerad av två-strömsnätet (TS-Net) föreslår vi en multi-stream Convolutional Neural Network (CNN) arkitektur för att känna igen mänskliga handlingar. Vi anser dessutom mänskliga-relaterade regioner som innehåller de mest informativa funktioner. För det första, genom att förbättra förgrundsdetekteringen, kan den region av intresse som motsvarar en aktörs utseende och rörelse på ett robust sätt upptäckas under realistiska omständigheter. Baserat på hela den upptäckta människokroppen, konstruerar vi ett utseende och en rörelse ström. Dessutom väljer vi en sekundär region som innehåller den stora rörliga delen av en aktör baserad på rörelsestyrka. Genom att kombinera de traditionella strömmarna med de nya människorelaterade strömmarna introducerar vi en människorelaterad CNN-arkitektur (HR-MSCNN) som kodar utseende, rörelse och de infångade rören i de mänskliga regionerna. Jämförande utvärdering av JHMDB, HMDB51, UCF Sports och UCF101 datauppsättningar visar att strömmarna innehåller funktioner som kompletterar varandra. Den föreslagna flerströmsarkitekturen uppnår toppmoderna resultat för dessa fyra datauppsättningar.
På liknande sätt, Tu, et al. Ref använde sig också av ett förslag från en mänsklig region för att utbilda ett CNN som består av utseende, rörelse och regionfunktioner som ingångsström.
Multi-stream CNN: Learning representations based on human-related regions for action recognition
{'venue': 'Pattern Recognit.', 'journal': 'Pattern Recognit.', 'mag_field_of_study': ['Computer Science', 'Mathematics']}