Vi presenterar en strategi för svagt övervakad inlärning av mänskliga handlingar från video transkriptioner. Vårt system bygger på tanken att, med tanke på en sekvens av indata och en utskrift, d.v.s. En förteckning över den ordning som åtgärderna förekommer i videon, det är möjligt att dra slutsatser om åtgärderna i videoströmmen och att lära sig de relaterade handlingsmodellerna utan behov av någon rambaserad notering. Med utgångspunkt från den tillgängliga utskriftsinformationen delar vi upp de givna datasekvenserna på ett enhetligt sätt baserat på antalet förväntade åtgärder. Vi lär oss sedan actionmodeller för varje klass genom att maximera sannolikheten för att träningsvideosekvenserna genereras av actionmodellerna med den sekvensordning som anges i utskrifterna. Den lärda modellen kan användas för att temporärt segmentera en osynlig video med eller utan utskrift. Dessutom kan de härledda segmenten användas som utgångspunkt för att utbilda modeller med full övervakning på hög nivå. Vi utvärderar vår strategi för fyra olika aktivitetsdata, nämligen Hollywood Extended, MPII Cooking, Frukost och CRIM13. Det visar att det föreslagna systemet kan anpassa de skriptade åtgärderna till videodata, att de lärda modellerna lokaliserar och klassificerar åtgärder i datauppsättningarna, och att de överträffar alla aktuella toppmoderna metoder för att anpassa utskrifter med videodata.
Kuehne m.fl. REF utbildar en modell för åtgärd segmentering från video utskrifter.
Weakly supervised learning of actions from transcripts
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Computer Science']}