Abstract-I detta dokument introducerar vi en ny deskriptor för att använda covariance av rörelse och utseende funktioner för mänskliga åtgärder och gest erkännande. I vårt tillvägagångssätt beräknar vi kinematiska egenskaper från optiskt flöde och första och andra ordningens derivat av intensiteter för att representera rörelse respektive utseende. Dessa funktioner används sedan för att konstruera covariance matriser som fångar gemensam statistik över både låg nivå rörelse och utseende funktioner extraheras från en video. Med hjälp av en överfullständig lexikon över de covariance-baserade deskriptorer som byggts av märkta träningsprover, formulerar vi mänsklig handlingsigenkänning som ett glest linjärt approximationsproblem. Inom detta utgör vi den glesa nedbrytningen av en kovariansmatris, som också överensstämmer med utrymmet för semipositiva bestämda matriser, som ett avgörande maximeringsproblem. Även eftersom covariansmatriser ligger på icke-linjära Riemannska grenrör, jämför vi vårt tidigare tillvägagångssätt med ett glest linjärt approximationsalternativ som lämpar sig för likvärdiga vektorutrymmen av covariansmatriser. Detta görs genom att söka efter den bästa projektionen av frågedata på en ordbok med hjälp av en Orthogonal Matching jaktalgoritm. Vi visar tillämpligheten av vår video deskriptor i två olika programdomäner -nämligen mänskliga åtgärder erkännande och gest erkännande med hjälp av ett skott lärande. Våra experiment ger lovande insikter i storskalig videoanalys.
Bhattacharya m.fl. REF konstruerade covariancematriser, som fångar gemensam statistik över både lågnivå rörelse och utseende funktioner extraherade från en video.
Covariance of Motion and Appearance Featuresfor Spatio Temporal Recognition Tasks
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Computer Science']}