Sammanfattning av denna webbsida: Människans aktivitetsigenkänning (HAR) uppgifter har traditionellt lösts med hjälp av konstruerade funktioner som erhållits genom heuristiska processer. Nuvarande forskning tyder på att djupa konvolutionella neurala nätverk är lämpade för att automatisera funktionen extraktion från rå sensor ingångar. Men mänskliga aktiviteter är gjorda av komplexa sekvenser av motoriska rörelser, och att fånga denna temporal dynamik är grundläggande för framgångsrik HAR. Baserat på de senaste framgångarna för återkommande neurala nätverk för tidsseriedomäner, föreslår vi en generisk djup ram för aktivitetsigenkänning baserad på konvolutionella och LSTM återkommande enheter, som: (i) är lämplig för multimodala bärbara sensorer; (ii) kan utföra sensorfusion naturligt; (iii) kräver inte expertkunskap i att utforma funktioner; och (iv) uttryckligen modellerar temporal dynamik av funktionsaktiveringar. Vi utvärderar vårt ramverk för två datauppsättningar, varav en har använts i en utmaning för erkännande av offentlig verksamhet. Våra resultat visar att vårt ramverk överträffar konkurrerande djupa icke-återkommande nätverk om utmaningen dataset med 4% i genomsnitt; överträffar några av de tidigare rapporterade resultaten med upp till 9%. Våra resultat visar att ramen kan appliceras på homogena sensormodaliteter, men kan även koppla samman multimodala sensorer för att förbättra prestandan. Vi karakteriserar viktiga arkitektoniska hyperparametrars påverkan på prestanda för att ge insikter om deras optimering.
Ordóñez och Roggen Ref föreslog en djuphybrid CNN-RNN för aktivitetsigenkänning med multimodala bärbara sensorer.
Deep Convolutional and LSTM Recurrent Neural Networks for Multimodal Wearable Activity Recognition