Rörelserepresentation spelar en viktig roll för erkännande av mänskliga handlingar i videofilmer. I denna studie introducerar vi en ny kompakt rörelse representation för video action igenkänning, som heter Optical Flow guidad Feature (OFF), som gör det möjligt för nätverket att destillera temporal information genom en snabb och robust strategi. OFF härleds från definitionen av optiskt flöde och är ortogonalt till det optiska flödet. Härledning ger också teoretiskt stöd för att använda skillnaden mellan två ramar. Genom att direkt beräkna pixel-wise spatio-temporala gradienter av de djupa funktionskartorna, kunde OFF inbäddas i alla befintliga CNN-baserade video åtgärdsigenkänning ramar med endast en liten extra kostnad. Det gör det möjligt för CNN att extrahera spatiotemporal information, särskilt temporal information mellan ramar samtidigt. Denna enkla men kraftfulla idé bekräftas av experimentella resultat. Nätet med OFF matas endast av RGB ingångar uppnår en konkurrenskraftig noggrannhet på 93,3% på UCF-101, vilket är jämförbart med resultatet som erhålls av två strömmar (RGB och optiskt flöde), men är 15 gånger snabbare i hastighet. Experimentella resultat visar också att OFF kompletterar andra rörelseformer såsom optiskt flöde. När den föreslagna metoden är ansluten till det senaste ramverket för erkännande av videoåtgärder har den 96,0 % respektive 74,2 % noggrannhet på UCF-101 respektive HMDB-51. Koden för detta projekt finns på https://github.com/kevin-ssy/Optical-Flow-Guided-Feature
Nyligen, Sun et al. I Ref föreslogs en metod med optiska flödesstyrda funktioner.
Optical Flow Guided Feature: A Fast and Robust Motion Representation for Video Action Recognition
{'venue': '2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition', 'journal': '2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition', 'mag_field_of_study': ['Computer Science']}