Händelser som definieras av samspelet mellan objekt i en scen är ofta av avgörande betydelse, men sådana händelser är vanligtvis sällsynta och tillgängliga märkta exempel otillräckliga för att träna en konventionell djup modell som utför väl över förväntade objekt framträdanden. De flesta modeller för djupt lärande aktivitetsigenkänning fokuserar på global kontextaggregering och tar inte uttryckligen hänsyn till objektinteraktioner inuti videon, eventuellt förbise viktiga signaler som är relevanta för att tolka aktivitet i scenen. I det här dokumentet visar vi att en ny modell för explicit representation av objektinteraktion avsevärt förbättrar den djupa videoaktivitetsklassificeringen för körning av kollisionsdetektering. Vi föreslår ett Spatio-Temporal Action Graph (STAG) nätverk, som innehåller rumsliga och tidsmässiga relationer mellan objekt. Nätverket lärs automatiskt från data, med en latent grafstruktur som kan härledas till uppgiften. Som ett riktmärke för att utvärdera prestanda vid kollisionsdetektering, introducerar vi en ny datauppsättning baserad på data som erhållits från verkliga kollisioner och nära kollisioner. Denna datauppsättning återspeglar den utmanande uppgiften att upptäcka och klassificera olyckor i en mycket varierande men ändå starkt begränsad miljö, vilket är mycket relevant för utvärderingen av autonoma kör- och varningssystem. Våra experiment bekräftar att vår STAG-modell erbjuder betydligt bättre resultat för klassificering av kollisionsaktivitet.
Herzig m.fl. I REF föreslås ett Spatio-Temporal Action Graph (STAG) nätverk för att modellera den latenta grafstrukturen av rumsliga och tidsmässiga samband mellan objekt.
Classifying Collisions with Spatio-Temporal Action Graph Networks
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Computer Science']}