1 Abstrakt-Egocentrisk aktivitetsigenkänning i förstapersonsvideor har en ökande betydelse med en mängd olika applikationer såsom livloggning, summering, assisterad-levande och aktivitetsspårning. Befintliga metoder för denna uppgift baseras på tolkning av olika sensorinformation med hjälp av förutbestämda vikter för varje funktion. I detta arbete föreslår vi en ny ram för egocentriska aktivitetsigenkänningsproblem som bygger på att kombinera audiovisuella funktioner med flerkanalslärande (MKL) och flerkanalshöjande (MKBoost). För detta ändamål, först rutnät optiskt flöde, virtuell-inertia funktion, log-covariance, kuboid extraheras från videon. Ljudsignalen karakteriseras med hjälp av en "supervektor", som erhålls baserat på Gaussian blandning modellering av ram-nivå funktioner, följt av en maximal a-posteriori anpassning. Därefter är de extraherade multimodala funktionerna adaptivt sammansmälta av MKL-klassningsmaskiner där både funktionen och kärnans val/vägning och igenkänning utförs tillsammans. Den föreslagna ramen utvärderades på ett antal egocentriska datauppsättningar. Resultaten visade att användningen av multimodala funktioner med MKL överträffar de befintliga metoderna. Index Terms-egocentrisk, första person vision, aktivitetsigenkänning, multi-kernel lärande I. INLEDNING NJUSTANDE användning av sociala medier har lett till en enorm mängd multimediainnehåll där videor är lika viktiga som text- och ljudbaserade inlägg. Den viktigaste drivkraften bakom ökningen av video är den utbredda användningen av handhållna kameror, sport- och actionkameror (dvs. GoPro), mobiltelefoner och bärbara kameror som tillbehör (dvs. Snap spektakel, Google Glas). Av denna anledning, första person (d.v.s. Egocentriska) videofilmer, där skådespelarna engagerar sig i aktiviteterna eller händelserna, har blivit populära. I förstapersonsvideor ses världen ur skådespelarens perspektiv inom ramen för skådespelarens aktiviteter och mål. Några av tillämpningsområdena för egocentrisk videoanalys är: aktivitetsigenkänning, egocentrisk videosammanfattning, uppmärksamhet lokalisering och daglig vård av äldre och funktionshindrade patienter. De flesta av dessa områden studeras fortfarande som forskningsproblem med tanke på den ostrukturerade naturen och rörelsedynamiken hos förstapersonsvideor. Populär användning av egocentriska videor i det dagliga livet har skapat behovet av att sammanfatta, organisera och analysera dem. En färsk undersökning om sammanfattning av egocentriska videor avslöjar mångfalden och överflöd av mål, tillvägagångssätt och utvärderingsstrategier [1]. Nuvarande aktivitetsigenkänning Å andra sidan har egocentriska videor andra egenskaper än tredjepersonsvideor (dvs. snabba scenövergångar, snabba förändringar i belysning, rörelse oskärpa och hög ego-rörelse) och kräver särskilda tillvägagångssätt. Studierna av egocentrisk aktivitetsigenkänning kan grupperas som objekt och rörelsebaserade metoder [6]. I objektbaserade metoder utförs aktivitetsigenkänning med det eller de objekt som detekteras i videor (dvs. Detektion av ost- och brödföremål innebär "tillverkning av ostsmörgås"-aktivitet) [7]. Utförandet av objektbaserade metoder är direkt beroende av prestandan hos objektigenkänningsmetoder och de är sårbara för ocklusioner. Motion-baserade metoder använder sig av antagandet att olika typer av aktiviteter såsom löpning, promenader, trappklättring och skrivande involverar olika kroppsrörelser, och dessa rörelsemönster kan användas för att känna igen aktiviteter [8, 9]. För att uppnå detta rörelsemönster används olika typer av sensorer såsom tröghetsmätningsenheter (IMU), GPS eller eyetrackers med mer specialiserad utrustning (såsom SenseCam, Google Glass) förutom optiska och ljudsensorer. Dessa specialenheter används dock inte i stor utsträckning eftersom de har begränsad batteritid och lagringskapacitet. Metoderna för egocentrisk aktivitetsigenkänning använder olika typer av funktioner och presenterar olika strategier för att lära sig aktiviteter såsom övervakat eller oövervakat lärande. En av de mest framträdande tillvägagångssätten är att kombinera flera funktioner med hjälp av de data som genereras av olika sensorer. I denna metod betraktas varje egenskap som extraheras lokalt eller globalt som en separat kanal med samma vikt [10] Peter Jančovič är med Electronic, Electrical and Systems Engineering,
Författarna i REF föreslår en multimodal metod för att identifiera egocentriska aktiviteter där audiovisuella funktioner kombineras med inlärning och stimulans av flera kernel.
Multi-modal Egocentric Activity Recognition using Audio-Visual Features
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Computer Science']}