Detta papper strävar efter spatio-temporal lokalisering av mänskliga handlingar i videor. I litteraturen är samförståndet att uppnå lokalisering genom utbildning i att avgränsa boxanteckningar som tillhandahålls för varje ram av varje träningsvideo. Eftersom noteringsrutor i video är dyra, besvärliga och felbenägna, föreslår vi att kringgå box-supervision. Istället inför vi handlingslokalisering baserad på punkt-övervakning. Vi utgår från oövervakade spatio-temporella förslag, som ger en uppsättning kandidatregioner i videor. Medan normalt används uteslutande för slutledning, visar vi spatio-temporala förslag kan också utnyttjas under utbildningen när vägledas av en gles uppsättning punkt annoteringar. Vi inför en överlappning åtgärd mellan punkter och spatio-temporella förslag och införliva dem alla i ett nytt mål för en fler instans lärande optimering. Under inferensen introducerar vi pseudo-punkter, visuella signaler från videor, som automatiskt styr valet av spatio-temporala förslag. Vi beskriver fem rumsliga och en temporal pseudo-punkt, samt en åtgärd för att bäst utnyttja pseudo-punkter vid testtillfället. Experimentell utvärdering av tre åtgärder lokaliseringsdata visar vår punkt-övervakade metod (1) är lika effektiv som traditionell box-övervakning till en bråkdel av notationskostnaden, (2) är robust för att glesa och bullriga punkt annoteringar, (3) drar nytta av pseudo-punkter under inferens, och (4) överträffar nyligen svagt övervakade alternativ. Detta leder oss till slutsatsen att punkter utgör ett genomförbart alternativ till rutor för handlingslokalisering.
Mettes m.fl. REF börjar från MIL med spatio-temporella förslag och lägger till manuell punktövervakning för att vägleda valet av förslag under utbildningen.
Pointly-Supervised Action Localization
{'venue': 'International Journal of Computer Vision', 'journal': 'International Journal of Computer Vision', 'mag_field_of_study': ['Computer Science']}