Vi studerar problemet med automatiskt lärande händelse OCH-OR grammatik från videor i en viss miljö, t.ex. ett kontor där studenterna utför dagliga aktiviteter. Vi föreslår att man lär sig händelsernas grammatik under informationsprojiceringen och principerna om minsta längd i ett sammanhängande probabilistiskt ramverk, utan manuell övervakning av vad som händer och när det händer. För det första upptäcks en fördefinierad uppsättning unilaterala och binära relationer för varje videoram: t.ex. Agentens position, pose och interaktion med miljön. Sedan samlas deras samtidiga förekomster i en lexikon över enkla och övergående atomiska handlingar. Rekursivt dessa åtgärder grupperas i längre och mer komplexa händelser, vilket resulterar i en stokastisk händelse grammatik. Genom att modellera tidsbegränsningar för på varandra följande händelser blir den lärda grammatiken kontextkänslig. Vi introducerar ett nytt dataset med övervakningsvideo på kontoret och presenterar ett prototypsystem för videoanalys som integrerar nedifrån-och-upp-detektering, grammatiskt lärande och tolkning. På denna datauppsättning kan inlärningsalgoritmen automatiskt upptäcka viktiga händelser och konstruera en stokastisk grammatik, som kan användas för att exakt tolka nyligen observerad video. Den lärda grammatiken kan användas som en före för att förbättra den bullriga bottom-up upptäckten av atomiska åtgärder. Det kan också användas för att inferera semantik av scenen. I allmänhet är händelse grammatik ett effektivt sätt för gemensam kunskapsinhämtning från video.
I REF användes en semantisk scenetikettkarta som sammanhang för agentåtgärder för att automatiskt lära sig AND-OR grammatik från videor.
Unsupervised learning of event AND-OR grammar and semantics from video
{'venue': '2011 International Conference on Computer Vision', 'journal': '2011 International Conference on Computer Vision', 'mag_field_of_study': ['Computer Science']}