Vi använder flerlagers Long Short Term Memory (LSTM) nätverk för att lära sig representationer av videosekvenser. Vår modell använder en kodare LSTM för att kartlägga en ingångssekvens till en fast längd representation. Denna representation avkodas med hjälp av en eller flera dekoder LSTM:er för att utföra olika uppgifter, såsom att rekonstruera inmatningssekvensen, eller att förutsäga den framtida sekvensen. Vi experimenterar med två typer av ingångssekvenser -patcher av bild pixlar och hög nivå representationer ("percepts") av videoramar extraheras med hjälp av en pretraherad convolutional nät. Vi utforskar olika designval såsom om dekoder LSTMs bör villkora den genererade produktionen. Vi analyserar resultaten av modellen kvalitativt för att se hur väl modellen kan extrapolera den lärda video representationen in i framtiden och in i det förflutna. Vi försöker visualisera och tolka de inlärda dragen. Vi stress testar modellen genom att köra den på längre tidsskalor och på out-of-domain data. Vi utvärderar vidare representationerna genom att finjustera dem för ett övervakat inlärningsproblemhumana åtgärder erkännande på UCF-101 och HMDB-51 dataset. Vi visar att representationerna bidrar till att förbättra klassificeringsnoggrannheten, särskilt när det bara finns några exempel på utbildning. Även modeller som är förträngda på orelaterade datauppsättningar (300 timmar YouTube-videor) kan hjälpa till att identifiera åtgärder.
REF använder LSTM-nätverk för att lära sig representationer av video och förutsäga framtida ramar från det.
Unsupervised Learning of Video Representations using LSTMs
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Mathematics', 'Computer Science']}