I detta arbete introducerar vi en ny videorepresentation för handlingsklassificering som aggregerar lokala konvolutionella funktioner över hela den spatio-temporala omfattningen av videon. Vi gör det genom att integrera toppmoderna tvåströmsnätverk [42] med inlärningsbar spatiotemporal-aggregering [6]. Den resulterande arkitekturen är end-toend trainingable för hela-video klassificering. Vi undersöker olika strategier för pooling över rum och tid och kombinerar signaler från de olika strömmarna. Vi finner att: (i) det är viktigt att samla gemensamt över rum och tid, men (ii) utseende och rörelse strömmar bäst aggregeras i sina egna separata representationer. Slutligen visar vi att vår representation överträffar den två-ström basarkitekturen med stor marginal (13% relativ) samt överträffar andra baslinjer med jämförbara basarkitekturer på HMDB51, UCF101, och Charades video klassificering riktmärken.
REF införde en spatio-temporal aggregation av lokala konvolutionella funktioner för bättre inlärning representationer i videon.
ActionVLAD: Learning Spatio-Temporal Aggregation for Action Classification
{'venue': '2017 IEEE Conference on Computer Vision and Pattern Recognition (CVPR)', 'journal': '2017 IEEE Conference on Computer Vision and Pattern Recognition (CVPR)', 'mag_field_of_study': ['Computer Science']}