Vi sammanför idéer från det senaste arbetet med funktionsdesign för egocentrisk handlingsigenkänning inom ett ramverk genom att undersöka användningen av djupa konvolutionella neurala nätverk (CNN). Det senaste arbetet har visat att funktioner som handutseende, objektattribut, lokal handrörelse och kamera ego-rörelse är viktiga för att karakterisera förstapersonsåtgärder. För att integrera dessa idéer under en ram, föreslår vi en dubbel ström nätverk arkitektur, där en ström analyserar utseende information och den andra ström analyserar rörelseinformation. Vårt utseende ström kodar tidigare kunskap om det egocentriska paradigmet genom att uttryckligen träna nätverket att segmentera händer och lokalisera objekt. Genom att visualisera viss neuronaktivering av vårt nätverk visar vi att vår föreslagna arkitektur naturligt lär sig funktioner som fångar objektattribut och handobjektskonfigurationer. Våra omfattande experiment med riktvärden för egocentriska aktionsdata visar att vår djupa arkitektur möjliggör igenkänningshastigheter som avsevärt överträffar toppmoderna tekniker - en genomsnittlig ökning av noggrannheten med 6,6 % över alla datauppsättningar. Genom att lära sig känna igen objekt, åtgärder och aktiviteter gemensamt ökar också utförandet av individuella erkännandeuppgifter med 30 % (insatser) och 14 % (objekt). Vi inkluderar också resultaten av en omfattande ablativ analys för att lyfta fram betydelsen av beslut om nätverksdesign.
I Ref föreslogs vidare en djupgående inlärningsarkitektur för erkännande av egocentriska åtgärder, som integrerar både utseende och rörelseinformation.
Going Deeper into First-Person Activity Recognition
{'venue': '2016 IEEE Conference on Computer Vision and Pattern Recognition (CVPR)', 'journal': '2016 IEEE Conference on Computer Vision and Pattern Recognition (CVPR)', 'mag_field_of_study': ['Computer Science']}