Abstrakt. Vi presenterar en ny arkitektur för end-to-end-sekvens inlärning av åtgärder i video, vi kallar VideoLSTM. I stället för att anpassa videon till särdragen hos etablerade återkommande eller konvolutionella arkitekturer, anpassar vi arkitekturen för att passa kraven i videomediet. Med början från soft-Attention LSTM ger VideoLSTM tre nya bidrag. Först har videon en rumslig layout. För att utnyttja den rumsliga korrelationen vi hardwire convolutions i soft-Attention LSTM arkitektur. För det andra informerar förslaget oss inte bara om handlingens innehåll, utan riktar också uppmärksamheten bättre mot de relevanta spatio-temporala platserna. Vi inför motionsbaserad uppmärksamhet. Och slutligen visar vi hur uppmärksamheten från VideoLSTM kan användas för åtgärdslokalisering genom att bara förlita sig på åtgärdsklassetiketten. Experiment och jämförelser av utmanande datauppsättningar för åtgärdsklassificering och lokalisering stödjer våra påståenden.
ConvLSTMs med uppmärksamhet har också använts för åtgärdsklassificering REF.
VideoLSTM Convolves, Attends and Flows for Action Recognition
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Computer Science', 'Mathematics']}