Två-stream Convolutional Networks (ConvNets) har visat stark prestanda för mänskliga åtgärder erkännande i videor. Nyligen har Residual Networks (ResNets) uppstått som en ny teknik för att träna extremt djupa arkitekturer. I detta dokument introducerar vi spatiotemporala ResNets som en kombination av dessa två metoder. Vår nya arkitektur generaliserar ResNets för spatiotemporal domänen genom att införa kvarvarande anslutningar på två sätt. För det första injicerar vi kvarvarande kopplingar mellan utseendet och rörelsevägarna i en två-ströms arkitektur för att möjliggöra spatiotemporal interaktion mellan de två strömmarna. För det andra omvandlar vi pretrained bild ConvNets till spatiotemporala nätverk genom att utrusta dem med lärbara konvolutionella filter som initieras som tidsbundna kvarvarande anslutningar och fungerar på angränsande funktionskartor i tid. Detta tillvägagångssätt ökar långsamt spatiotemporalt mottagligt fält som djupet av modellen ökar och naturligt integrerar bilden ConvNet designprinciper. Hela modellen är tränad end-to-end för att möjliggöra hierarkiskt lärande av komplexa spatiotemporala funktioner. Vi utvärderar vår nya spatiotemporal ResNet med hjälp av två allmänt använda åtgärd erkännande riktmärken där det överstiger den tidigare state-of-the-art.
Efter framgången med den två-ströms arkitekturen, Feichtenhofer et al. REF förlängde CNN i två riktningar och föreslog ett spatiotemporellt resterande nät.
Spatiotemporal Residual Networks for Video Action Recognition
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Computer Science']}