Abstrakt. Arbetet i detta papper drivs av frågan om spatio-temporala korrelationer är tillräckligt för 3D-konvolutionella neurala nätverk (CNN)? De flesta av de traditionella 3D-nätverken använder lokala spatio-temporala funktioner. Vi introducerar ett nytt block som modellerar korrelationer mellan kanaler av en 3D CNN med avseende på temporal och rumsliga funktioner. Detta nya block kan läggas till som en restenhet till olika delar av 3D CNN. Vi namnger vårt nya block "Spatio-Temporal Channel Correlation" (STC). Genom att inbädda detta block i nuvarande toppmoderna arkitekturer som ResNext och ResNet, förbättrade vi prestandan med 2-3% på Kinetics dataset. Våra experiment visar att tillägg av STC-block till nuvarande toppmoderna arkitekturer överträffar de senaste metoderna på HMDB51, UCF101 och Kinetics datauppsättningar. Den andra frågan i utbildning 3D CNNs handlar om att träna dem från grunden med en enorm märkt dataset för att få en rimlig prestanda. Så den kunskap som lärs in i 2D CNNs är helt ignorerad. Ett annat bidrag i detta arbete är en enkel och effektiv teknik för att överföra kunskap från en förtränad 2D CNN till en slumpmässigt initierad 3D CNN för en stabil vikt initialisering. Detta gör att vi avsevärt kan minska antalet träningsprover för 3D CNN. Genom att finjustera detta nätverk slår vi alltså prestandan hos generiska och nya metoder i 3D CNNs, som utbildades på stora videodataset, t.ex. Sport-1M, och finjusterad på måldatauppsättningarna, t.ex. HMDB51/UCF101.
Ytterligare i REF, Diba et al. föreslå spatio-temporell kanal korrelation som modellerar korrelationer mellan kanaler av en 3D ConvNets wrt.
Spatio-Temporal Channel Correlation Networks for Action Classification
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Computer Science']}