Mycket av studier på neural beräkning baseras på nätverksmodeller av statiska neuroner som producerar analog utgång, trots det faktum att informationsbearbetning i hjärnan huvudsakligen utförs av dynamiska neuroner som producerar diskreta pulser som kallas spikar. Forskning inom spetsbaserad beräkning har hindrats av bristen på effektiv övervakad inlärningsalgoritm för spikande nätverk. Här presenterar vi en gradient nedstigning metod för att optimera spikning nätverk modeller genom att införa en differentierad formulering av spikning nätverk och härleda den exakta gradient beräkning. För demonstration, vi tränade återkommande spikning nätverk på två dynamiska uppgifter: en som kräver optimering snabbt (en millisekund) spikbaserade interaktioner för effektiv kodning av information, och en fördröjd-minne XOR uppgift under längre tid (en sekund). Resultaten visar att vår metod verkligen optimerar den spikande nätverksdynamiken på tidsskalan för enskilda spikar samt beteendetidsskalorna. Sammanfattningsvis, vårt resultat erbjuder en allmän syfte övervakad inlärningsalgoritm för spika neurala nätverk, vilket främjar ytterligare undersökningar på spik-baserad beräkning.
REF presenterar en temporal lutning nedstigningsmetod, BPTT, med en differentierad formulering av spikningsdynamik.
Gradient Descent for Spiking Neural Networks
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Computer Science', 'Biology', 'Mathematics']}