Abstrakt. Trots de stadiga framstegen i videoanalys ledd av antagandet av konvolutionella neurala nätverk (CNNs), har den relativa förbättringen varit mindre drastiska som i 2D statiska bildklassificering. Det finns tre huvudutmaningar: rumslig (bild)funktionsrepresentation, tidsinformationsrepresentation och komplexitet i modell/beräkning. Det visades nyligen av Carreira och Zisserman att 3D CNNs, uppblåst från 2D-nätverk och förträngd på ImageNet, kunde vara ett lovande sätt att lära sig rumsliga och tidsmässiga representationer. När det gäller modell/beräkningskomplex är dock 3D CNN mycket dyrare än 2D CNN och tenderar att överpassa sig. Vi söker en balans mellan hastighet och noggrannhet genom att bygga upp ett effektivt och effektivt videoklassificeringssystem genom systematisk undersökning av val av kritisk nätverksdesign. I synnerhet visar vi att det är möjligt att ersätta många av 3D-konvolutionerna med billiga 2D-konvolutioner. Förvånansvärt nog uppnås det bästa resultatet (i både hastighet och noggrannhet) när 3D-konvolutionerna ersätts längst ner i nätverket, vilket tyder på att tidsrepresentationsinlärning på hög nivå "semantiska" funktioner är mer användbar. Vår slutsats generaliserar till dataset med mycket olika egenskaper. I kombination med flera andra kostnadseffektiva konstruktioner, inklusive separerbar rumslig/temporal konvolution och funktionsbestämning, resulterar vårt system i ett effektivt videoklassificeringssystem som ger mycket konkurrenskraftiga resultat på flera åtgärdsklassificeringsriktmärken (kinetik, något, UCF101 och HMDB), samt två åtgärdsdetekteringsriktmärken (localization).
Xie och Al. noterade att 3D CNN är mycket mer beräkningsintensiva än 2D CNN och är benägna att överexponera, och har visat att det är möjligt att ersätta många av 3D-konvolutioner med 2D-konvolutioner som är lätta att beräkna REF.
Rethinking Spatiotemporal Feature Learning: Speed-Accuracy Trade-offs in Video Classification
{'venue': None, 'journal': 'arXiv: Computer Vision and Pattern Recognition', 'mag_field_of_study': ['Computer Science']}