I detta dokument presenterar vi en ny inlärningsbaserad metod för klassificering av videosekvenser. Tvärtemot den dominerande metodiken, som bygger på handgjorda funktioner som är manuellt konstruerade för att vara optimala för en specifik uppgift, lär sig vår neurala modell automatiskt en sparsam skift-invariant representation av den lokala 2D + t framträdande information, utan någon användning av tidigare kunskap. I detta syfte tränas en spatio-temporal konvolutional sparse autoencoder för att projicera en given ingång i ett funktionsutrymme, och för att rekonstruera den från dess projektionskoordinater. Lärandet utförs på ett oövervakat sätt genom att minimera en global parametriserad objektiv funktion. Den gleshet säkerställs genom att lägga till en sparsam logistisk mellan kodaren och dekodern, medan skiftinvariansen hanteras genom att inkludera en ytterligare dold variabel till den objektiva funktionen. Den tidsmässiga utvecklingen av de erhållna glesa funktionerna lärs av ett långvarigt korttidsminne återkommande neurala nätverk tränas för att klassificera varje sekvens. Vi visar att eftersom funktionsinlärningsprocessen är problemoberoende, uppnår modellen enastående prestationer när den tillämpas på två olika problem, nämligen mänsklig handling och ansiktsuttrycksigenkänning. Erhållna resultat är överlägsna toppmoderna på GEMEP-FERA-datasetet och bland de allra bästa på KTH-datasetet.
I REF, en spatio-temporal sparse auto-encoder utbildas på ett oövervakat sätt för att klassificera videosekvenser.
Spatio-Temporal Convolutional Sparse Auto-Encoder for Sequence Classification
{'venue': 'BMVC', 'journal': None, 'mag_field_of_study': ['Computer Science']}