Utvinning och kvantisering av lokala bild- och videodeskriptorer för det efterföljande skapandet av visuella kodböcker är en teknik som har visat sig vara mycket effektiv för bild- och videosökningstillämpningar. I detta dokument bygger vi vidare på detta koncept och föreslår en ny uppsättning visuella deskriptorer som ger en lokal rum-tid beskrivning av den visuella aktiviteten. De föreslagna deskriptorerna extraheras vid spatiotemporala framträdande punkter som upptäcks på det uppskattade optiska flödesfältet för en given bildsekvens och baseras på geometriska egenskaper hos tredimensionella polynom, nämligen B-splines. De senare är monterade på spatiotemporala platser av framträdande punkter som faller inom ett givet spatiotemporal område. Våra deskriptorer är invarianta i översättning och skalning i rum-tid. Det senare säkerställs genom att områdesdimensionerna kopplas till den skala i vilken motsvarande spatiotemporala framträdande punkter detekteras. Dessutom för att ge robusthet mot kamerans rörelse (t.ex. global översättning på grund av kamera panorering) vi subtrahera rörelsekomponenten som uppskattas genom att tillämpa lokala medianfilter på det optiska flödesfältet. Deskriptorer som extraheras över hela datauppsättningen samlas för att skapa en kodbok med "visuella verb", där varje verb motsvarar ett klustercenter. Vi använder den resulterande kodboken i ett "bag of verbs" tillvägagångssätt för att representera motivens rörelse inom små tidsfönster. Slutligen använder vi en boosteralgoritm för att välja de mest diskriminerande temporalfönstren för varje klass och Relevans Vector Machines (RVM) för klassificering. De resultat som presenteras med hjälp av tre olika databaser av mänskliga handlingar verifierar effektiviteten i vår metod.
I REF extraheras rörelsebeskrivningen genom att montera B-spline yta på upptäckta spatiotemporala framträdande punkter i bildsekvenser.
Sparse B-spline polynomial descriptors for human activity recognition
{'venue': 'IMAGE AND VISION COMPUTING', 'journal': None, 'mag_field_of_study': ['Computer Science', 'Mathematics']}