Mänskliga handlingar som fångas i videosekvenser är tredimensionella signaler som kännetecknar visuellt utseende och rörelsedynamik. För att lära sig handlingsmönster antar befintliga metoder Convolutional och/eller Recurrent Neural Networks (CNN och RNN). CNN-baserade metoder är effektiva för att lära sig rumsliga utseenden, men är begränsade i modellering av långsiktig rörelsedynamik. RNNs, särskilt Long Short-Term Memory (LSTM), kan lära sig temporal rörelsedynamik. Men naivt tillämpa RNNs på videosekvenser på ett konvolutionellt sätt förutsätter implicit att rörelser i videor är stationära över olika rumsliga platser. Detta antagande är giltigt för kortsiktiga rörelser men ogiltigt när längden på rörelsen är lång. I detta arbete föreslår vi Lattice-LSTM (L 2 STM), som utökar LSTM genom att lära sig oberoende dolda tillstånd övergångar av minnesceller för enskilda rumsliga platser. Denna metod förbättrar effektivt förmågan att modellera dynamik över tid och tar upp den icke-stationära frågan om långsiktig rörelsedynamik utan att avsevärt öka modellens komplexitet. Dessutom inför vi ett nytt multimodalt utbildningsförfarande för att utbilda vårt nätverk. Till skillnad från traditionella tvåströmsarkitekturer som använder RGB och optisk flödesinformation som ingång, utnyttjar vår tvåströmsmodell båda metoderna för att gemensamt träna både ingångsportar och båda glömmer grindar i nätverket snarare än att behandla de två strömmarna som separata enheter utan information om den andra. Vi tillämpar detta end-to-end-system för referensdatauppsättningar (UCF-101 och HMDB-51) för erkännande av mänskliga åtgärder. Experiment visar att vår föreslagna metod på båda datauppsättningarna överträffar alla befintliga metoder som är baserade på LSTM och/eller CNN av liknande modellkomplexitet.
Nyligen, Sun et al. REF föreslår Lattice-LSTM (L 2 TSM), som utökar traditionella LSTM genom att lära sig oberoende dolda tillstånd övergång av minnesceller för enskilda rumsliga platser.
Lattice Long Short-Term Memory for Human Action Recognition
{'venue': '2017 IEEE International Conference on Computer Vision (ICCV)', 'journal': '2017 IEEE International Conference on Computer Vision (ICCV)', 'mag_field_of_study': ['Computer Science']}