Bristen på videor i nuvarande åtgärdsklassificeringsdata har gjort det svårt att identifiera bra videoarkitekturer, eftersom de flesta metoder får liknande resultat på befintliga småskaliga riktmärken. Detta dokument omvärderar toppmoderna arkitekturer mot bakgrund av den nya Kinetics Human Action Video-datauppsättningen. Kinetics har två storleksordningar mer data, med 400 mänskliga aktionsklasser och över 400 klipp per klass, och samlas in från realistiska, utmanande YouTube-videor. Vi tillhandahåller en analys av hur nuvarande arkitekturer klarar sig när det gäller uppgiften att klassificera åtgärder på detta dataset och hur mycket prestanda som förbättras på de mindre referensdataseten efter förutbildningen på Kinetics. Vi introducerar också en ny Two-Stream Inflated 3D Con-vNet (I3D) som är baserad på 2D ConvNet inflation: filter och pooling kärnor av mycket djup bild klassificering ConvNets utvidgas till 3D, vilket gör det möjligt att lära sömlösa spatio-temporala funktionsextraktorer från video samtidigt utnyttja framgångsrika ImageNet arkitektur design och även deras parametrar. Vi visar att I3D-modeller, efter förutbildningen på Kinetics, avsevärt förbättrar den senaste i åtgärdsklassificeringen och når 80,2 % på HMDB-51 och 97,9 % på UCF-101.
I3D REF är utformad för att blåsa upp 2D-kärnor till 3D för att lära sig spatio-temporella funktionsextraktorer från video och samtidigt utnyttja pretrain-vikter.
Quo Vadis, Action Recognition? A New Model and the Kinetics Dataset
{'venue': '2017 IEEE Conference on Computer Vision and Pattern Recognition (CVPR)', 'journal': '2017 IEEE Conference on Computer Vision and Pattern Recognition (CVPR)', 'mag_field_of_study': ['Computer Science']}