I detta arbete introducerar vi en fullständig end-to-end strategi för att upptäcka åtgärder i videor som lär sig att direkt förutsäga de timliga gränserna för åtgärder. Vår intuition är att processen att upptäcka handlingar är naturligt en process av observation och förfining: observera ögonblick i video, och förfina hypoteser om när en handling sker. Baserat på denna insikt formulerar vi vår modell som ett återkommande neuralt nätverksbaserat medel som interagerar med en video över tid. Agenten observerar videoramar och bestämmer både var du ska titta härnäst och när du ska avge en förutsägelse. Eftersom backpropagation inte är tillräckligt i denna icke-differentierbara miljö, använder vi REINFORCE för att lära sig agentens beslutspolicy. Vår modell uppnår toppmoderna resultat på THUMOS'14 och ActivityNet dataset samtidigt som endast en bråkdel (2% eller mindre) av videoramarna observeras.
Yeung et al REF använder hård uppmärksamhet för att upptäcka åtgärder med en modell, som bestämmer både vilken ram att observera nästa samt när man ska avge en åtgärdsförutsägelse.
End-to-End Learning of Action Detection from Frame Glimpses in Videos
{'venue': '2016 IEEE Conference on Computer Vision and Pattern Recognition (CVPR)', 'journal': '2016 IEEE Conference on Computer Vision and Pattern Recognition (CVPR)', 'mag_field_of_study': ['Computer Science']}