Abstract-Vi presenterar en allmän och flexibel video-nivå ram för lärande handlingsmodeller i videor. Denna metod, som kallas tidssegmentnätverk (TSN), syftar till att modellera långdistanstidsstrukturen med ett nytt segmentbaserat provtagnings- och aggregeringssystem. Denna unika design gör det möjligt för TSN-ramverket att effektivt lära sig actionmodeller genom att använda hela videon. De lärda modellerna kan enkelt användas för åtgärdsigenkänning i både trimmade och otrimmade videor med enkel genomsnittlig poolning respektive flerskalig temporal fönsterintegration. Vi studerar också en rad goda metoder för implementeringen av TSN-ramverket med begränsade träningsprover. Vår strategi ger den senaste prestandan på fem utmanande åtgärdsigenkänning riktmärken: HMDB51 (71,0 procent), UCF101 (94,9 procent), THUMOS14 (80,1 procent), ActivityNet v1.2 (89,6 procent) och Kinetics400 (75,7 procent). Dessutom, med den föreslagna RGB skillnaden som en enkel rörelse representation, vår metod kan fortfarande uppnå konkurrenskraftig noggrannhet på UCF101 (91,0 procent) medan den körs på 340 FPS. Dessutom, baserat på det föreslagna TSN-ramverket, vann vi videoklassificeringsspåret på ActivityNet-utmaningen 2016 bland 24 lag.
Nyligen, vill du ha et al. I REF föreslogs ett tidssegmentnätverk för att modellera långdistanstidsstrukturen för åtgärder inom en video.
Temporal Segment Networks for Action Recognition in Videos
{'venue': 'IEEE Transactions on Pattern Analysis and Machine Intelligence', 'journal': 'IEEE Transactions on Pattern Analysis and Machine Intelligence', 'mag_field_of_study': ['Computer Science', 'Medicine']}