Konvolutionella neurala nätverk (CNN) har betraktats som en kraftfull klass av modeller för bildigenkänningsproblem. Ändå är det inte trivialt när man använder en CNN för att lära sig spatio-temporal video representation. Några studier har visat att 3D-konvolutioner är ett givande sätt att fånga både rumsliga och tidsmässiga dimensioner i videor. Utvecklingen av en mycket djup 3D CNN från grunden resulterar dock i dyra beräkningskostnader och minnesefterfrågan. En giltig fråga är varför inte återvinna off-the-shelf 2D-nätverk för en 3D CNN. I detta papper, vi utforma flera varianter av flaskhals byggstenar i en rest lärande ram genom att simulera 3 × 3 × 3 convolutions med 1 × 3 × 3 convolutional filter på rumslig domän (motsvarande 2D CNN) plus 3 × 1 × 1 convolutions för att konstruera tidsmässiga anslutningar på angränsande funktionskartor i tid. Dessutom föreslår vi en ny arkitektur, namngiven, som utnyttjar alla varianter av block men komponerar varje i olika placering av ResNet, enligt filosofin att öka strukturell mångfald med att gå djupt kan förbättra kraften i neurala nätverk. Vårt P3D ResNet uppnår tydliga förbättringar på Sports-1M video klassificering dataset mot 3D CNN och rambaserade 2D CNN med 5,3% respektive 1,8%. Vi undersöker vidare den generalisering prestanda video representation som produceras av vår förtränade P3D ResNet på fem olika riktmärken och tre olika uppgifter, visar överlägsna prestationer över flera state-of-the-art tekniker.
Qiu REF föreslog Pseudo-3D (P3D), som bryter ner en 3D-konvolution på 3 × 3 × 3 till en 2D-konvolution på 1 × 3 × 3, följt av en 1D-konvolution på 3 × 1 × 1.
Learning Spatio-Temporal Representation with Pseudo-3D Residual Networks
{'venue': '2017 IEEE International Conference on Computer Vision (ICCV)', 'journal': '2017 IEEE International Conference on Computer Vision (ICCV)', 'mag_field_of_study': ['Computer Science']}