Vanliga videorepresentationer distribuerar ofta en genomsnittlig eller maximal poolning av förextraherade bildfunktioner över tiden. Ett sådant tillvägagångssätt ger ett enkelt sätt att koda funktioner distributioner, men är sannolikt att vara suboptimal. Som ett alternativ utforskar vi här kombinationer av lärbara poolingtekniker som Soft Bag-of-words, Fisher Vectors, NetVLAD, GRU och LSTM till aggregerade videofunktioner över tid. Vi introducerar också en inlärbar icke-linjär nätverksenhet, kallad Context Gating, som syftar till att modellera det ömsesidiga beroendet mellan funktioner. Vi utvärderar metoden på multi-modal Youtube-8M Large-Scale Video Understanding dataset med hjälp av förextraherade visuella och ljudfunktioner. Vi demonstrerar förbättringar som tillhandahålls av Context Gating samt av kombinationen av lärbara pooling metoder. Vi visar äntligen hur detta leder till bästa prestanda, av mer än 600 lag, i Kaggle Youtube-8M Large-Scale Video Understanding utmaning.
Baserat på FisherNet och NetVLAD, Miech et al. REF införde en icke-linjär inlärningsbar nätverksenhet med namnet Context Gating (CG).
Learnable pooling with Context Gating for video classification
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Computer Science']}