Vi presenterar en oövervakad representation inlärningsmetod som kompakt kodar rörelsen beroenden i videor. Med ett par bilder från ett videoklipp lär sig vårt ramverk att förutsäga de långsiktiga 3D-rörelserna. För att minska komplexiteten i inlärningsramen, föreslår vi att beskriva rörelsen som en sekvens av atomära 3D-flöden som beräknas med RGB-D modalitet. Vi använder en Recurrent Neural Network-baserad Encoder-Decoder ram för att förutsäga dessa sekvenser av flöden. Vi hävdar att för att dekodern ska kunna rekonstruera dessa sekvenser, måste kodaren lära sig en robust video representation som fångar långsiktiga rörelseberoenden och rumsliga-temporala relationer. Vi demonstrerar effektiviteten av våra inlärda tidsrepresentationer på aktivitetsklassificering över flera modaliteter och datauppsättningar såsom NTU RGB+D och MSR Daily Activity 3D. Vårt ramverk är generiskt för alla inmatningssätt, dvs. RGB, djup och RGB-D-videor.
I REF föreslås ett RNN-baserat encoderdecoder-ramverk för att effektivt lära sig en representation som förutsäger sekvensen av grundläggande rörelser.
Unsupervised Learning of Long-Term Motion Dynamics for Videos
{'venue': '2017 IEEE Conference on Computer Vision and Pattern Recognition (CVPR)', 'journal': '2017 IEEE Conference on Computer Vision and Pattern Recognition (CVPR)', 'mag_field_of_study': ['Computer Science']}