Under de senaste åren har djupa neurala nätverk (DNN) uppvisat stor framgång i att förutsäga betydelsen av bilder. Det finns dock få verk som använder DNN för att förutsäga betydelsen av generiska videor. I detta dokument föreslår vi en ny DNN-baserad prediktionsmetod. I synnerhet upprättar vi en storskalig eyetracking databas över video (LEDOV), som ger tillräckligt med data för att träna DNN-modellerna för att förutsäga video saliency. Genom den statistiska analysen av vår LEDOV-databas finner vi att människors uppmärksamhet normalt attraheras av föremål, särskilt rörliga föremål eller rörliga delar av föremål. Därför föreslår vi ett objekt-till-rörelse konvolutionellt neuralt nätverk (OM-CNN) för att lära sig spatio-temporella funktioner för att förutsäga den intra-frame saliency genom att utforska informationen om både objektitet och objektrörelse. Vi finner vidare från vår databas att det finns en tidsmässig korrelation av mänsklig uppmärksamhet med en smidig löneövergång över videoramar. Därför utvecklar vi ett tvålagers konvolutionslångt korttidsminne (2C-LSTM) nätverk i vår DNN-baserade metod, med hjälp av de extraherade funktionerna hos OM-CNN som ingång. Följaktligen kan inter-frame saliency kartor över videor genereras, som tar hänsyn till övergången av uppmärksamhet över videoramar. Slutligen, de experimentella resultaten visar att vår metod avancerar state-of-the-art i video saliency förutsägelse.
Jiang m.fl. REF utvecklade en ConvLSTM (2C-LSTM) i två lager för att förutsäga videolägsenhet.
Predicting Video Saliency with Object-to-Motion CNN and Two-layer Convolutional LSTM
{'venue': 'ECCV', 'journal': None, 'mag_field_of_study': ['Computer Science']}