Den uttrycksfulla kraften hos en maskininlärningsmodell är nära relaterad till antalet sekventiella beräkningssteg den kan lära sig. Till exempel, Deep Neural Networks har varit mer framgångsrika än grunda nätverk eftersom de kan utföra ett större antal sekventiella beräkningssteg (var och en mycket parallell). Neural Turing Machine (NTM) [8] är en modell som kompakt kan uttrycka ett ännu större antal sekventiella beräkningssteg, så den är ännu kraftfullare än en DNN. Dess minnesadresseringsåtgärder är utformade för att vara olika, vilket gör att NTM kan tränas med backpropagation. Även om olika minne är relativt lätt att implementera och träna, det kräver tillgång till hela minnesinnehållet vid varje beräkningssteg. Detta gör det svårt att implementera en snabb NTM. I detta arbete använder vi förstärkningsalgoritmen för att lära oss var man kan komma åt minnet, samtidigt som man använder backpropagation för att lära sig vad man ska skriva till minnet. Vi kallar den här modellen för RL-NTM. Förstärkning gör det möjligt för vår modell att få tillgång till ett konstant antal minnesceller vid varje beräkningssteg, så att dess implementering kan gå snabbare. RL-NTM är den första modellen som i princip kan lära sig program med obegränsad körtid. Vi har framgångsrikt tränat RL-NTM för att lösa ett antal algoritmiska uppgifter som är enklare än de som kan lösas av den helt olika NTM. Eftersom RL-NTM är en ganska invecklad modell behövde vi en metod för att verifiera riktigheten i vårt genomförande. För att göra det utvecklade vi en enkel teknik för att numeriskt kontrollera godtyckliga implementationer av modeller som använder Reforce, vilket kan vara av oberoende intresse.
Ett anmärkningsvärt undantag är förstärkning Learning Neural Turing Machine (RLNTM) REF ] som är en version av NTM med diskreta gränssnitt.
Reinforcement Learning Neural Turing Machines
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Computer Science']}