Abstract-This paper föreslår en ny representation av artikulerade mänskliga handlingar och gester och ansiktsuttryck. De viktigaste målen med det föreslagna tillvägagångssättet är 1) att möjliggöra erkännande med hjälp av mycket få exempel, dvs. en eller k-shot inlärning, och 2) meningsfull organisation av omärkta datauppsättningar genom oövervakad klusterbildning. Vår föreslagna representation uppnås genom att automatiskt upptäcka subaktioner på hög nivå eller rörelseprimära, genom hierarkisk klustring av observerat optiskt flöde i fyradimensionellt, rumsligt och rörelseflödesutrymme. Den helt oövervakade föreslagna metoden, i motsats till toppmoderna representationer som påse med videoord, ger en meningsfull representation som främjar visuell tolkning och textmärkning. Varje primitiv handling avbildar en atomisk subaktion, som riktningsrörelse av lem eller bål, och representeras av en blandning av fyradimensionella Gaussiska fördelningar. För en-shot och k-shot inlärning, sekvensen av primitiva etiketter som upptäcks i en testvideo är märkta med KL divergens, och kan sedan representeras som en sträng och matchas mot liknande strängar av träningsvideor. Samma sekvens kan också kollapsas in i en histogram av primitiva eller användas för att lära sig en dold Markov modell för att representera klasser. Vi har utfört omfattande experiment på erkännande av en och k-shot lärande samt oövervakade åtgärder kluster på sex mänskliga åtgärder och gest dataset, en sammansatt dataset, och en databas med ansiktsuttryck. Dessa experiment bekräftar den föreslagna representationens giltighet och diskriminerande karaktär.
Den föreslagna representationen erhålls genom att automatiskt upptäcka hög nivå subaktioner eller rörelse primitiver, genom hierarkisk klusterering av observerat optiskt flöde i fyradimensionella, rumsliga och rörelseflöde utrymme REF.
Discovering Motion Primitives for Unsupervised Grouping and One-Shot Learning of Human Actions, Gestures, and Expressions
{'venue': 'IEEE Transactions on Pattern Analysis and Machine Intelligence', 'journal': 'IEEE Transactions on Pattern Analysis and Machine Intelligence', 'mag_field_of_study': ['Computer Science', 'Medicine']}