Den senaste tidens framsteg i Deep Convolutional Neural Networks (DCNN) har visat extremt goda resultat för video människa handling klassificering, men åtgärd upptäckt är fortfarande ett utmanande problem. Den nuvarande åtgärden detektion metoder följer en komplex rörledning som innebär flera uppgifter som rörförslag, optiskt flöde, och rör klassificering. I detta arbete presenterar vi en mer elegant lösning för åtgärdsdetektering baserad på det nyligen utvecklade kapselnätverket. Vi föreslår ett 3D-kapselnätverk för videor, som kallas VideoCapsuleNet: ett enhetligt nätverk för åtgärdsdetektering som tillsammans kan utföra pixelmässigt åtgärdssegmentering tillsammans med åtgärdsklassificering. Det föreslagna nätverket är en generalisering av kapselnätverk från 2D till 3D, som tar en sekvens av videoramar som ingång. Den 3D generaliseringen ökar drastiskt antalet kapslar i nätverket, vilket gör kapsel routing beräkning dyrt. Vi introducerar kapselpooling i det konvolutionella kapselskiktet för att ta itu med detta problem som gör den röstalgoritm som går att styra. Routing-by-agreement i nätverket modellerar i sig action representationer och olika handlingsegenskaper fångas upp av de förutsagda kapslarna. Detta inspirerade oss att använda kapslarna för åtgärdslokalisering och de klassspecifika kapslar som förutspås av nätverket används för att bestämma en pixel-wise lokalisering av åtgärder. Lokaliseringen förbättras ytterligare genom parameteriserade hoppanslutningar med de konvolutionella kapsellagren och nätverket tränas end-to-end med en klassificering såväl som lokaliseringsförlust. Det föreslagna nätverket uppnår sate-of-the-art prestanda på flera åtgärder detektionsdatauppsättningar inklusive UCF-Sports, J-HMDB, och UCF-101 (24 klasser) med en imponerande 20% förbättring på UCF-101 och  på 15% förbättring på J-HMDB när det gäller v-mAP poäng.
I ett nytt arbete REF, författare föreslår en 3D kapsel nätverk för video åtgärd detektion som gemensamt kan utföra pixel-wise åtgärd segmentering tillsammans med åtgärd klassificering.
VideoCapsuleNet: A Simplified Network for Action Detection
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Computer Science']}