Den ihållande modifieringen av synapseffekt som en funktion av den relativa timingen av pre- och postsynaptiska spikar är ett fenomen som kallas spik-timing-beroende plasticitet (STDP). Här visar vi att moduleringen av STDP genom en global belöningssignal leder till ökat lärande. Vi härleder först analytiskt lärande regler som omfattar belöning-modulerad spik-timing-beroende synaptic och inneboende plasticitet, genom att tillämpa en förstärkning lärande algoritm till den stokastiska spik svarsmodell av spikande neuroner. Dessa regler har flera egenskaper som är gemensamma för plasticitetsmekanismer experimentellt som finns i hjärnan. Vi demonstrerar sedan i simuleringar av nätverk av integrera-och-eld neuroner effektiviteten av två enkla inlärningsregler som omfattar modulerade STDP. Den ena regeln är en direkt förlängning av standardmodellen STDP (modulerad STDP), och den andra gäller ett behörighetsspår som lagras vid varje synaps som håller ett förfallande minne av förhållandet mellan de senaste paren av pre- och postsynaptiska spikpar (modulerad STDP med behörighetsspårning). Denna sistnämnda regel tillåter inlärning även om belöningssignalen försenas. De föreslagna reglerna kan lösa XOR-problemet med både hastighetskodade och tidskodade inmatningar och lära sig ett målutmatningsmönster. Dessa inlärningsregler är biologiskt rimliga, kan användas för utbildning generiska artificiella spikning neurala nätverk, oavsett den neurala modell som används, och föreslår den experimentella undersökningen hos djur om förekomsten av belöningsmodulerad STDP.
REF presenterade en förstärkande inlärningsalgoritm för spikande nätverk genom modulering av spiktidsberoende plasticitet.
Reinforcement Learning Through Modulation of Spike-Timing-Dependent Synaptic Plasticity
{'venue': 'Neural Computation', 'journal': 'Neural Computation', 'mag_field_of_study': ['Mathematics', 'Medicine', 'Computer Science']}