I detta arbete introducerar vi en ny videorepresentation för handlingsklassificering som aggregerar lokala konvolutionella funktioner över hela den spatio-temporala omfattningen av videon. Vi gör det genom att integrera toppmoderna tvåströmsnätverk [42] med inlärningsbar spatiotemporal-aggregering [6]. Den resulterande arkitekturen är end-toend trainingable för hela-video klassificering. Vi undersöker olika strategier för pooling över rum och tid och kombinerar signaler från de olika strömmarna. Vi finner att: (i) det är viktigt att samla gemensamt över rum och tid, men (ii) utseende och rörelse strömmar bäst aggregeras i sina egna separata representationer. Slutligen visar vi att vår representation överträffar den två-ström basarkitekturen med stor marginal (13% relativ) samt överträffar andra baslinjer med jämförbara basarkitekturer på HMDB51, UCF101, och Charades video klassificering riktmärken.
För att ha erkänt dessa handlingar, Girdhar et al. REF föreslog ActionVLAD, som aggregaterar utseende och rörelse funktioner från två-ströms nätverk.
ActionVLAD: Learning Spatio-Temporal Aggregation for Action Classification
{'venue': '2017 IEEE Conference on Computer Vision and Pattern Recognition (CVPR)', 'journal': '2017 IEEE Conference on Computer Vision and Pattern Recognition (CVPR)', 'mag_field_of_study': ['Computer Science']}