Abstrakt. Vi föreslår en svagt övervakad ram för handlingsmärkning i video, där endast den ordning av åtgärder som förekommer krävs under utbildningstiden. Den viktigaste utmaningen är att per-ram-anpassningarna mellan indata (video) och etikett (åtgärd) sekvenser är okända under utbildningen. Vi tar itu med detta genom att införa ramen Extended Connectionist Temporal Classification (ECTC) för att effektivt utvärdera alla möjliga anpassningar via dynamisk programmering och uttryckligen se till att de överensstämmer med bild-till-ram visuella likheter. Detta skyddar modellen från distraktioner av visuellt inkonsekventa eller degenererade riktningar utan behov av tidsövervakning. Vi utökar vårt ramverk ytterligare till det halvövervakade fallet när några bilder är glest kommenterade i en video. Med mindre än 1% av märkta ramar per video, vår metod kan överträffa befintliga halvövervakade metoder och uppnå jämförbar prestanda jämfört med fullt övervakade strategier.
Till exempel, Extended Connectionist Temporal Classification (ECTC) behandlar åtgärd anpassning under begränsningen av att vara konsekvent med frame-to-frame visuell likhet REF.
Connectionist Temporal Modeling for Weakly Supervised Action Labeling
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Computer Science']}