Abstract-främjas av framgången med konvolutionella neurala nätverk (CNN) i bildklassificering, nyligen mycket arbete läggs på att tillämpa CNNs på video-baserade åtgärder erkännande problem. En utmaning är att en video innehåller ett varierande antal ramar, vilket är oförenligt med CNN:s standardindataformat. Befintliga metoder hanterar denna fråga antingen genom direkt provtagning av ett fast antal ramar eller genom att kringgå denna fråga genom att införa ett 3D-konvolutionsskikt, som utför konvolution inom rumslig-temporal domän. I detta dokument föreslår vi en ny nätstruktur, som tillåter ett godtyckligt antal ramar som nätinmatning. Nyckeln till vår lösning är att introducera en modul bestående av ett kodningslager och ett tidspyramidpoolinglager. Det kodningsskiktet kartlägger aktiveringen från de tidigare skikten till en funktionsvektor som lämpar sig för poolning, medan tidspyramidpoolningsskiktet omvandlar flera bildnivåaktiveringar till en videonivå på fast längd. Dessutom antar vi en funktion conkatension lager som kombinerar utseende och rörelse information. Jämfört med ramprovtagningsstrategin undviker vår metod risken att missa några viktiga ramar. Jämfört med 3D-konvolutionsmetoden, som kräver en enorm videodatauppsättning för nätverksträning, kan vår modell läras på en liten måldatauppsättning eftersom vi kan utnyttja den off-the-shelf bildnivå CNN för modellparameter initialisering. Experiment på tre utmanande datamängder, Hollywood2, HMDB51 och UCF101 visar hur effektivt det föreslagna nätverket är.
Dessutom Wang et al. REF byggde upp en tidspyramidpooling baserad CNN för action representation som består av en kodning, en pyramid pooling och ett konkatetering skikt, som kan transformera både rörelse och utseende funktioner.
Temporal Pyramid Pooling-Based Convolutional Neural Network for Action Recognition
{'venue': 'IEEE Transactions on Circuits and Systems for Video Technology', 'journal': 'IEEE Transactions on Circuits and Systems for Video Technology', 'mag_field_of_study': ['Computer Science']}