Temporär verksamhet lokalisering är ett viktigt men utmanande problem. Med tanke på en lång, otrimmad video som består av flera åtgärdsinstanser och komplext bakgrundsinnehåll, behöver vi inte bara känna igen deras åtgärdskategorier, utan också lokalisera starttid och sluttid för varje instans. Många toppmoderna system använder segmentnivåklassificeringar för att välja och rangordna förslagssegment med förutbestämda gränser. En önskvärd modell bör dock röra sig bortom segmentsnivå och göra täta förutsägelser vid en fin granularitet i tid för att bestämma exakta tidsgränser. I detta syfte designar vi en ny Convolutional-De-Konvolutional (CDC) nätverk som placerar CDC filter på toppen av 3D ConvNets, som har visat sig vara effektiva för att abstraktera åtgärder semantik men minska temporal längden på indata. Det föreslagna CDC-filtret utför de nödvändiga tidssamplings- och rumsliga nedsamplingsoperationerna samtidigt för att förutsäga åtgärder på ramgranularitetsnivå. Den är unik i att gemensamt modellera actionsemantik i rymdtid och finkornig temporal dynamik. Vi utbildar CDC-nätverket på ett effektivt sätt. Vår modell uppnår inte bara överlägsen prestanda när det gäller att upptäcka åtgärder i varje ram, utan ökar också avsevärt precisionen i lokaliseringen av tidsgränser. Slutligen visar CDC-nätverket en mycket hög effektivitet med förmågan att bearbeta 500 bilder per sekund på en enda GPU-server. Källkod och utbildade modeller finns tillgängliga på https://bitbucket. org/columbiadvmm/cdc.
Och REF använder temporal uppsampling och rumslig nedsampling samtidigt.
CDC: Convolutional-De-Convolutional Networks for Precise Temporal Action Localization in Untrimmed Videos
{'venue': '2017 IEEE Conference on Computer Vision and Pattern Recognition (CVPR)', 'journal': '2017 IEEE Conference on Computer Vision and Pattern Recognition (CVPR)', 'mag_field_of_study': ['Computer Science']}