Detta dokument tar upp problemet med spatiotemporal lokalisering av åtgärder i videor. Jämfört med ledande metoder, som alla lär sig att lokalisera baserat på noggrant kommenterade lådor på träningsvideoramar, följer vi en svagt övervakad lösning som bara kräver en video klass etikett. Vi introducerar en skådespelare-övervakad arkitektur som utnyttjar den inneboende kompositionaliteten av åtgärder i form av aktörsomvandlingar, för att lokalisera åtgärder. Vi gör två bidrag. För det första föreslår vi skådespelare förslag som härrör från en detektor för mänskliga och icke-mänskliga aktörer avsedda för bilder, som länkas över tiden av Siamese likhet matchning för att redogöra för skådespelare deformationer. För det andra föreslår vi en aktörsbaserad uppmärksamhetsmekanism som gör det möjligt att lokalisera åtgärderna från åtgärdsklassmärkningar och aktörsförslag och som är end-to-end trainingable. Experiment på tre mänskliga och icke-mänskliga aktionsdata visar att aktörsövervakning är toppmodern för svagt övervakad handlingslokalisering och är till och med konkurrenskraftig mot vissa helt övervakade alternativ.
Escorcia m.fl. REF utvecklade en aktörsövervakad arkitektur som utnyttjar den inneboende kompositionaliteten hos åtgärder i form av aktörsomvandlingar för att lokalisera åtgärder.
Guess Where? Actor-Supervision for Spatiotemporal Action Localization
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Computer Science', 'Mathematics']}