Abstract-Som levande organismer, en av våra primära karaktäristik är förmågan att snabbt bearbeta och reagera på okända och oväntade händelser. I detta syfte kan vi känna igen en händelse eller en sekvens av händelser och lära oss att reagera på rätt sätt. Trots framsteg i maskininlärning, nuvarande kognitiva robotsystem inte kan snabbt och effektivt svara i den verkliga världen: utmaningen är att lära sig att inse både vad som är viktigt, och även när man ska agera. Förstärkning Lärande (RL) används vanligtvis för att lösa komplexa uppgifter: att lära sig hur. Att reagera snabbt - för att lära sig när - miljön måste provtas tillräckligt ofta. För "tillräckligt", en programmerare måste besluta om steg-storlek som en tid representation, välja mellan en finkornig representation av tid (många tillstånd-övergångar, svårt att lära med RL) eller en grov temporal upplösning (lättare att lära med RL men saknar exakt timing). Här får vi en kontinuerlig tidsversion av policy SARSA-Iarning i en arbetsminnesbaserad neural nätverksmodell, Augment. Med hjälp av ett neuralt arbetsminne nätverk löser vilket problem, vår när lösningen bygger på uppfattningen att i den verkliga världen, momentana åtgärder av varaktighet dt är faktiskt omöjligt. Vi visar hur vi kan koppla bort aktionens varaktighet från de interna tidsstegen i den neurala RL-modellen med hjälp av ett åtgärdsvalssystem. Den resulterande CT-Augmen T lär sig framgångsrikt att reagera på händelser av en kontinuerlig tid uppgift, utan några på förhand angivna specifikationer om varaktigheten av händelserna eller förseningarna mellan dem. En självkörande bil färdas längs vägen när plötsligt en man korsar gatan. Bilen måste stanna omedelbart för att undvika kollisionen. Detta är ett exempel på komplexiteten i miljön som vi lever i, där många okända och oväntade händelser måste erkännas och bearbetas snabbt och kontinuerligt.. Ett annat gemensamt tillvägagångssätt för kontinuerlig tid RL är baserat på skådespelare-kritiska modeller, t.ex.. [7]............................................................... Vi finner dock att det för det senare inte finns något aktuellt arbete som inkluderar metoder för att lära sig kompakta arbetsminnen representationer, och våra egna ansträngningar hade stora svårigheter att nå konvergens när man använder en skådespelare-kritisk metod.
REF presenterade också en RL-algoritm med kontinuerlig tid för att lära sig uppgiftsspecifikt arbetsminne för att koppla bort åtgärdens varaktighet från de interna tidsstegen för RL-modellen med hjälp av en mekanism för val av åtgärd för Winner-Take-All.
Continuous-time on-policy neural Reinforcement Learning of working memory tasks
{'venue': '2015 International Joint Conference on Neural Networks (IJCNN)', 'journal': '2015 International Joint Conference on Neural Networks (IJCNN)', 'mag_field_of_study': ['Computer Science']}