I detta dokument presenterar vi en ram för tolkning av videoevenemang med stokastisk Temporal And-Or Graph (T-AOG) och oövervakad inlärning av T-AOG från video. Denna T-AOG representerar en stokastisk händelse grammatik. alfabetet av T-AOG består av en uppsättning av jordade rumsliga relationer inklusive poser av agenter och deras interaktioner med objekt i scenen. De terminala noderna i T-AOG är atomiska åtgärder som anges av ett antal jordade relationer över bildramar. En And-node representerar en sekvens av handlingar. En Or-node representerar ett antal alternativa sätt för sådana konkatendrar. De And-Or noderna i T-AOG kan generera en uppsättning giltiga tidskonfigurationer av atomiska åtgärder, som kan representeras på motsvarande sätt som språket i en stokastisk sammanhangsfri grammatik (SCFG). För varje And-node modellerar vi tidsmässiga relationer av dess barn noder för att särskilja händelser med liknande strukturer men olika tidsmässiga mönster och interpolera saknade delar av händelser. Detta gör T-AOG grammatik sammanhangskänslig. Vi föreslår en oövervakad inlärningsalgoritm för att lära sig atomiska handlingar, tidsmässiga relationer och And-Or-noder enligt principen om informationsprojicering i en sammanhängande probabilistisk ram. Vi föreslår också en händelse tolkning algoritm baserad på T-AOG som kan förstå händelser, sluta mål agenter, och förutsäga deras rimliga avsedda åtgärder. I jämförelse med befintliga metoder ger vårt dokument följande bidrag. i) Vi representerar händelser av en T-AOG med hierarkiska sammansättningar av händelser och det tidsmässiga förhållandet mellan subhändelserna. ii) Vi lär oss grammatiken, inklusive atomiska åtgärder och tidsmässiga relationer, automatiskt från videodata utan manuell övervakning. iii) Vår algoritm sluter målet för agenter och förutspår deras avsikter genom en top-down process, hanterar händelser insättning och multi-agent händelser, håller alla möjliga tolkningar av videon för att bevara tvetydigheter, och uppnår den globalt optimala tolkningslösning i en Bayesian ram; iv) Algoritmen använder händelse sammanhang för att förbättra upptäckten av atomiska åtgärder, segment och känna igen objekt i scenen. Omfattande experiment, inklusive inomhus och utomhus scener, enstaka och flera agenter händelser, genomförs för att validera effektiviteten av det föreslagna tillvägagångssättet.
I REF presenterar de en ram för tolkning av videohändelser med stokastisk temporal och-eller graf med oövervakat lärande.
Learning and Parsing Video Events with Goal and Intent Prediction
{'venue': 'Comput. Vis. Image Underst.', 'journal': 'Comput. Vis. Image Underst.', 'mag_field_of_study': ['Computer Science']}