Varje ögonblick räknas i åtgärdsigenkänning. En omfattande förståelse av mänsklig aktivitet i video kräver märkning av varje ram enligt de åtgärder som sker, placera flera etiketter tätt över en videosekvens. För att studera detta problem utökar vi det befintliga THUMOS-datasetet och introducerar MultiTHUMOS, en ny dataset med täta etiketter över okonstruerade internetvideor. Modellering av flera, täta etiketter har nytta av tidsbundna relationer inom och mellan olika klasser. Vi definierar en ny variant av långtidsminnesdjupa nätverk för modellering av dessa tidsrelationer via flera ingångs- och utgångsanslutningar. Vi visar att denna modell förbättrar precisionen för att märka åtgärder och ytterligare möjliggör djupare förståelse av uppgifter som sträcker sig från strukturerad hämtning till förutsägelse av åtgärder.
I REF, ett LSTM-nätverk utrustad med uppmärksamhetsmekanism som föreslås för att modellera dessa tidsrelationer via flera ingångs- och utgångsanslutningar.
Every Moment Counts: Dense Detailed Labeling of Actions in Complex Videos
{'venue': 'International Journal of Computer Vision', 'journal': 'International Journal of Computer Vision', 'mag_field_of_study': ['Computer Science']}