Abstrakt. Elektroencefalografi (EEG) har blivit den viktigaste insignalen för system baserade på hjärnans datorgränssnitt (BCI). Det är dock mycket svårt att få tillfredsställande klassificeringsnoggrannhet på grund av traditionella metoder kan inte fullt ut utnyttja multimodal information. Här föreslår vi en ny metod för att modellera kognitiva händelser från EEG-data genom att reducera det till ett videoklassificeringsproblem, som är utformat för att bevara EEG:s multimodala information. Dessutom införs optiskt flöde för att representera EEG:s variantinformation. Vi tränar ett djupt neuralt nätverk (DNN) med convolutional neural network (CNN) och recidiverande neural network (RNN) för EEG klassificering uppgift med hjälp av EEG video och optiskt flöde. Experimenten visar att vårt tillvägagångssätt har många fördelar, såsom mer robusthet och mer noggrannhet i EEG-klassificeringsuppgifter. Enligt vår strategi utformade vi ett blandat BCI-baserat rehabiliteringssystem för att hjälpa strokepatienter att utföra några grundläggande operationer.
I REF föreslogs en ny EEG-representation som minskar EEG-klassificeringsproblemet till ett bildklassificeringsproblem som påverkar förmågan att överföra lärande.
Multimodal Classification with Deep Convolutional-Recurrent Neural Networks for Electroencephalography
{'venue': 'Neural Information Processing. 2017:767-776', 'journal': None, 'mag_field_of_study': ['Computer Science']}