De flesta populära djupa modeller för åtgärdsigenkänning split videosekvenser i korta sub-sekvenser som består av några bilder; ram-baserade funktioner poolas sedan för att känna igen aktiviteten. Vanligtvis, detta pooling steg kastar temporal ordning ramar, som annars skulle kunna användas för bättre igenkänning. I detta syfte föreslår vi en ny pooling metod, generaliserad rankning (GRP), som tar som ingång, funktioner från de mellanliggande skikten i en CNN som är utbildad på små sub-sekvenser, och producerar som utgång parametrarna för en subrymd som (i) ger en låg-ranking approximation till funktionerna och (ii) bevarar sin temporal ordning. Vi föreslår att dessa parametrar används som en kompakt representation för videosekvensen, som sedan används i en klassificeringsuppsättning. Vi formulerar ett mål för att beräkna denna subrymd som ett Riemannskt optimeringsproblem på Grassmann-grenröret, och föreslår ett effektivt konjugerat gradientsystem för att lösa det. Experiment på flera aktivitetsigenkänningsdata visar att vårt system leder till toppmoderna resultat.
Liknar vår, Cherian et al. REF föreslår att ett subutrymme används för att representera videosekvenser.
Generalized Rank Pooling for Activity Recognition
{'venue': '2017 IEEE Conference on Computer Vision and Pattern Recognition (CVPR)', 'journal': '2017 IEEE Conference on Computer Vision and Pattern Recognition (CVPR)', 'mag_field_of_study': ['Computer Science']}