Förmågan att identifiera och tidsmässigt segmentera finkorniga mänskliga handlingar genom en video är avgörande för robotik, övervakning, utbildning och bortom. Typiska metoder frikoppla detta problem genom att först extrahera lokala spatiotemporala funktioner från videoramar och sedan mata dem till en temporal klassificering som fångar hög nivå temporal mönster. Vi beskriver en klass av tidsbaserade modeller, som vi kallar Temporal Convolutional Networks (TCNs), som använder en hierarki av tidskonvolutioner för att utföra finkornig åtgärd segmentering eller detektion. Vår Encoder-Decoder TCN använder poolning och uppsampling för att effektivt fånga långdistans temporal mönster medan vår dilaterade TCN använder dilaterade konvolutioner. Vi visar att TCN kan fånga actionkompositioner, segmentlängder och beroenden på lång sikt, och är över en magnitud snabbare att träna än konkurrerande LSTM-baserade Recurrent Neural Networks. Vi tillämpar dessa modeller på tre utmanande finkorniga dataset och visar stora förbättringar över toppmoderna.
I REF, författarna har infört temporal convolutional nätverk (TCN) för finkornig åtgärd upptäckt och segmentering.
Temporal Convolutional Networks for Action Segmentation and Detection
{'venue': '2017 IEEE Conference on Computer Vision and Pattern Recognition (CVPR)', 'journal': '2017 IEEE Conference on Computer Vision and Pattern Recognition (CVPR)', 'mag_field_of_study': ['Computer Science']}