Vi introducerar ett system som känner igen samtidiga aktiviteter från verkliga data som fångas upp av flera sensorer av olika typer. Erkännandet sker i två steg. För det första extraherar vi rumsliga och tidsmässiga egenskaper från multimodala data. Vi matar varje datatyp till ett konvolutionellt neuralt nätverk som extraherar rumsliga funktioner, följt av ett långtidsminne nätverk som extraherar temporal information i sensoriska data. De extraherade funktionerna sammansmältes sedan för beslutsfattande i det andra steget. För det andra uppnår vi samtidig aktivitetsigenkänning med en enda klassificerare som kodar en binär utdatavektor där element anger om motsvarande aktivitetstyper för närvarande pågår. Vi testade vårt system med tre datauppsättningar från olika domäner registrerade med olika sensorer och uppnådde prestanda jämförbar med befintliga system speciellt utformade för dessa domäner. Vårt system är det första som hanterar den samtidiga aktivitetsigenkänningen med multisensordata med hjälp av en enda modell, som är skalbar, enkel att träna och enkel att distribuera.
REF föreslog ett skalbart system som behandlar samtidig aktivitetsigenkänning.
Concurrent Activity Recognition with Multimodal CNN-LSTM Structure
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Computer Science']}