Djupinlärningsmodeller för videobaserad igenkänning av åtgärder genererar vanligtvis funktioner för korta klipp (bestående av några bilder); sådana clip-nivåfunktioner aggregeras till representationer på videonivå genom datastatistik över dessa funktioner. Vanligtvis används noll-th (max) eller första ordningens (genomsnitts) statistik. I detta dokument utforskar vi fördelarna med att använda andra ordningens statistik.Speciellt föreslår vi en ny end-to-end inlärbar funktionsaggregation, dubbad tids korrelation pooling som genererar en åtgärd deskriptor för en videosekvens genom att fånga likheterna mellan den timliga utvecklingen av CNN-funktioner på klippnivå som beräknas över hela videon. En sådan deskriptor, samtidigt som den är beräknings billigt, också naturligt kodar co-aktiveringar av flera CNN-funktioner, vilket ger en rikare karakterisering av åtgärder än deras första ordningen motsvarigheter. Vi föreslår också utökningar av systemet med högre ordning genom att beräkna korrelationer efter att ha inbäddat CNN-funktionerna i en reproducerande kärna Hilbert-utrymme. Vi tillhandahåller experiment på referensdataset som HMDB-51 och UCF-101, finkorniga dataset som MPII matlagningsaktiviteter och JHMDB, samt den senaste Kinetics-600. Våra resultat visar fördelarna med högorderpooling som i kombination med handgjorda funktioner (som standard praxis) uppnår toppmodern noggrannhet.
Temporal korrelation pooling (TCP) REF, till exempel, är ett tidsmässigt pooling system baserat på andra ordningen pooling.
Second-order Temporal Pooling for Action Recognition
{'venue': 'International Journal of Computer Vision', 'journal': 'International Journal of Computer Vision', 'mag_field_of_study': ['Computer Science']}