Spiking neurala nätverk (SNNs) är placerade för att möjliggöra spatio-temporal information bearbetning och ultra-låg effekt händelse-driven neuromorphic hårdvara. SNN har dock ännu inte uppnått samma prestanda hos konventionella djupa artificiella neurala nätverk (ANNs), en långvarig utmaning på grund av komplex dynamik och icke-differentierbara spik händelser stött på i utbildningen. De befintliga metoderna för backpropagation av SNN-fel (BP) är begränsade i fråga om skalbarhet, brist på korrekt hantering av spikande diskontinuiteter och/eller obalans mellan den hastighetskodade förlustfunktionen och den beräknade lutningen. Vi presenterar en hybrid makro / mikro nivå backpropagation (HM2-BP) algoritm för träning flera lager SNNs. De tidsmässiga effekterna fångas exakt av den föreslagna spik-tåg nivå post-synaptiska potential (S-PSP) på mikroskopisk nivå. De hastighetskodade felen definieras på makroskopisk nivå, beräknad och bakåtfördelad över både makroskopiska och mikroskopiska nivåer. I motsats till befintliga BP-metoder beräknar HM2-BP direkt lutningen för den hastighetskodade förlustfunktionen w.r.t tonfiskbara parametrar. Vi utvärderar den föreslagna HM2-BP algoritmen genom att träna djupt sammankopplade och konvolutionella SNNs baserat på den statiska MNIST [14] och dynamiska neuromorfa N-MNIST [26]. HM2-BP uppnår en noggrannhetsnivå på 99,49 % respektive 98,88 % för MNIST respektive N-MNIST, vilket överträffar de bästa rapporterade prestationerna från de befintliga SNN BP-algoritmerna. Dessutom producerar HM2-BP de högsta noggrannheterna baserat på SNN:er för EMNIST [3] datauppsättningen, och leder till hög igenkänningsnoggrannhet för de 16-talare som talade engelska bokstäver av TI46 Corpus [16], ett utmanande riktmärke för igenkänning av uteplats-temporala tal för vilka ingen tidigare framgång baserat på SNN:er rapporterades. Det uppnår också konkurrenskraftiga prestationer överträffar de konventionella djupt lärande modeller när det gäller asynkrona spikande strömmar.
Nyligen står REF för det timliga bidraget från det givna presynaptiska spiktåget till avfyrningen av den postsynaptiska neuronen.
Hybrid Macro/Micro Level Backpropagation for Training Deep Spiking Neural Networks
{'venue': 'NeurIPS', 'journal': None, 'mag_field_of_study': ['Computer Science']}