Mänsklig handling är ett koncept på hög nivå inom datorseendeforskning och förståelse för det kan dra nytta av olika semantik, såsom mänsklig pose, interagerande objekt och scensammanhang. I detta dokument utnyttjar vi explicit semantiska signaler med hjälp av befintliga mänskliga/objektiva detektorer för åtgärdsigenkänning i videor, och grundligt studera deras effekt på igenkänningsprestandan för olika typer av åtgärder. I synnerhet föreslår vi en ny djup arkitektur genom att integrera mänskliga/objektiva detekteringsresultat i ramen, så kallade tvåströmmars semantiska regionbaserade CNN (SR-CNN). Vår föreslagna arkitektur delar inte bara stor modelleringskapacitet med de ursprungliga två-ström CNNs, men visar också flexibiliteten i att utnyttja semantiska linjer (t.ex. scen, person, objekt) för handlingsförståelse. Vi utför experiment på UCF101 datasetet och demonstrerar dess överlägsna prestanda till de ursprungliga två-ström CNNs. Dessutom studerar vi systematiskt effekten av att införliva semantiska signaler på igenkänningsprestandan för olika typer av åtgärdsklasser, och försöker ge några insikter för att bygga mer rimliga åtgärdsriktmärken och utveckla bättre igenkänningsalgoritmer.
REF införlivar semantisk information i de två ström ConvNets.
Two-Stream SR-CNNs for Action Recognition in Videos
{'venue': 'BMVC', 'journal': None, 'mag_field_of_study': ['Computer Science']}