Vi tar upp åtgärd temporal lokalisering i otrimmade långa videor. Detta är viktigt eftersom videor i verkliga program oftast är okonstruerade och innehåller flera action instanser plus videoinnehåll i bakgrundsscener eller andra aktiviteter. För att ta itu med denna utmanande fråga, utnyttjar vi effektiviteten av djupa nätverk i aktion temporal lokalisering via flera steg segment-baserade 3D ConvNets: (1) ett förslag skede identifierar kandidatsegment i en lång video som kan innehålla åtgärder; (2) en klassificeringssteg lär sig en-vs-all åtgärd klassificering modell för att fungera som initiering för lokaliseringsstadiet; och (3) en localization skede finjusterar på den modell som lärts i klassificeringsstadiet för att lokalisera varje åtgärd instans. Vi föreslår en ny förlustfunktion för lokaliseringsstadiet för att uttryckligen överväga tidsöverlappning och därmed uppnå hög tidsmässig lokaliseringsnoggrannhet. När det gäller två storskaliga riktmärken uppnår vår strategi betydligt överlägsna resultat jämfört med andra toppmoderna system: mAP ökar från 1,7 % till 7,4 % för MEXAction2 och ökar från 15,0 % till 10.02. för THUMOS 2014, när tröskelvärdet för överlappning för utvärdering är satt till 0,5.
Till exempel Shou et al. REF utnyttjar tre segmentbaserade 3D ConvNets: ett förslagsnätverk för att identifiera kandidatklipp som kan innehålla åtgärder, ett klassificeringsnätverk för att lära sig en klassificeringsmodell och ett lokaliseringsnätverk för finjustering av det lärda klassificeringsnätverket för att lokalisera varje åtgärdstillfälle.
Action Temporal Localization in Untrimmed Videos via Multi-stage CNNs
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Computer Science']}