Att tillfälligt lokalisera och klassificera åtgärdssegment i långa otrimmade videor är av särskilt intresse för många tillämpningar som övervakning och robotik. Medan traditionella metoder följer en tvåstegs pipeline, genom att generera Framewise sannolikheter och sedan mata dem till hög nivå temporal modeller, nya metoder använder temporal convolutions för att direkt klassificera videoramar. I det här dokumentet introducerar vi en flerstegsarkitektur för segmentering av temporala åtgärder. Varje steg har en uppsättning utvidgade temporalkonvolutioner för att generera en första förutsägelse som förfinas av nästa. Denna arkitektur tränas med hjälp av en kombination av en klassificeringsförlust och en föreslagen utjämningsförlust som straffar översegmenteringsfel. Omfattande utvärdering visar hur effektiv den föreslagna modellen är när det gäller att fånga upp beroenden på lång sikt och identifiera åtgärdssegment. Vår modell uppnår toppmoderna resultat på tre utmanande dataset: 50Salads, Georgia Tech Egocentric Activities (GTEA) och Breakfast Dataset.
Med flerstegsledningen utför MS-TCN REF hierarkiska temporalkonvolutioner för att effektivt extrahera tidsfunktioner och uppnå den senaste prestandan för åtgärdssegmentering.
MS-TCN: Multi-Stage Temporal Convolutional Network for Action Segmentation
{'venue': '2019 IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR)', 'journal': '2019 IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR)', 'mag_field_of_study': ['Computer Science']}