Vi föreslår en mjuk uppmärksamhetsbaserad modell för uppgiften att identifiera åtgärder i videor. Vi använder flera lager Recurrent Neural Networks (RNN) med Long Short-Term Memory (LSTM) enheter som är djupa både rumsligt och tidsmässigt. Vår modell lär sig att fokusera selektivt på delar av videoramarna och klassificerar videor efter att ha tagit några glimtar. Modellen lär sig i huvudsak vilka delar i ramen som är relevanta för den aktuella uppgiften och fäster större vikt vid dem. Vi utvärderar modellen på UCF-11 (YouTube Action), HMDB-51 och Hollywood2 datauppsättningar och analyserar hur modellen fokuserar sin uppmärksamhet beroende på scenen och den handling som utförs.
Sharma m.fl. REF föreslog en soft-attention LSTM ovanpå RNN:erna för att uppmärksamma framträdande delar av videoramarna för klassificering.
Action Recognition using Visual Attention
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Computer Science', 'Mathematics']}