I den här artikeln introducerar vi nyligen begreppet tidsuppmärksamhetsfilter och beskriver hur de kan användas för mänsklig aktivitetsigenkänning från videor. Många aktiviteter på hög nivå består ofta av flera tidsdelar (t.ex. sub-händelser) med olika varaktighet/hastighet, och vårt mål är att få modellen att uttryckligen lära sig sådan tidsstruktur med hjälp av flera uppmärksamhetsfilter och dra nytta av dem. Våra tidsfilter är utformade för att vara helt olika, vilket möjliggör end-of-end utbildning av tidsfilter tillsammans med de underliggande ram- eller segmentbaserade konvolutionella neurala nätverksarkitekturer. Detta dokument presenterar en metod för att lära sig en uppsättning optimala statiska tidsuppmärksamhetsfilter som ska delas mellan olika videor, och utvidgar denna metod till att dynamiskt justera uppmärksamhetsfilter per testvideo med hjälp av återkommande långsiktiga korttidsminnesnätverk (LSTM). Detta gör det möjligt för våra tidsbundna uppmärksamhetsfilter att lära sig latenta sub-händelser specifika för varje aktivitet. Vi bekräftar experimentellt att det föreslagna konceptet med tidsuppmärksamhetsfilter gynnar aktivitetsigenkänningen, och vi visualiserar de inlärda latenta sub-händelserna.
Nyligen, REF använda temporal uppmärksamhet filter för att identifiera latenta sub-händelser i videor.
Learning Latent Sub-events in Activity Videos Using Temporal Attention Filters
{'venue': 'AAAI 2017', 'journal': 'arXiv: Computer Vision and Pattern Recognition', 'mag_field_of_study': ['Computer Science']}