Att erkänna åtgärder är ett viktigt problem när det gäller att förstå multimedia. I detta dokument behandlas detta problem genom att man bygger upp en uttrycklig modell för kompositionsåtgärder. Vi modellerar en actioninstans i videon med en ensemble av spatio-temporala kompositioner: ett antal diskreta timliga ankarramar, som var och en är ytterligare dekomponerad till en layout av deformerbara delar. På detta sätt kan vår modell identifiera en Spatio-Temporal And-Or Graph (STAOG) för att representera den latenta strukturen av åtgärder t.ex.. Trippelhoppning, svängning och höghoppning. STAOG-modellen består av fyra skikt: (i) ett parti bladnoder i botten för att upptäcka olika åtgärdsdelar inom videoplåster; (ii) de eller-noderna över botten, dvs. växla variabler för att aktivera sina barns bladnoder för strukturell variabilitet, iii) de och-noderna inom en ankarram för att kontrollera den rumsliga sammansättningen, och iv) rotnoden högst upp för aggregering av poäng över timliga ankarramar. Dessutom definieras kontextuella interaktioner mellan bladnoder i både rumsliga och tidsmässiga domäner. För modellträning utvecklar vi en ny svagt övervakad inlärningsalgoritm som iterativt bestämmer strukturkonfigurationen (t.ex. Produktion av bladnoder som är förknippade med eller-noderna) tillsammans med optimering av parametrar i flera lager. Genom att fullt ut utnyttja spatiotemporala kompositioner och interaktioner hanterar vårt tillvägagångssätt väl stora intraklassiska actionvarianser (t.ex. olika vyer, individuella utseenden, spatio-temporala strukturer). De experimentella resultaten i de utmanande databaserna visar på överlägsen prestanda i vårt tillvägagångssätt jämfört med andra metoder.
Med hjälp av en latent spatio-temporal sammansättningsmodell i REF, åtgärder förenklades i termer av spatio-temporal och-eller diagram.
Learning latent spatio-temporal compositional model for human action recognition
{'venue': "MM '13", 'journal': None, 'mag_field_of_study': ['Computer Science']}