Vi presenterar en ny djup återkommande neural nätverk arkitektur som lär sig att bygga implicita planer på ett end-to-end sätt genom att enbart interagera med en miljö i förstärkning inlärningsmiljö. Nätverket bygger upp en intern plan som kontinuerligt uppdateras vid observation av nästa insats från miljön. Den kan också dela upp denna interna representation i sammanhängande undersekvenser genom att lära sig hur länge planen kan bindas till -d.v.s. följde utan omplanering. Kombinera dessa egenskaper, den föreslagna modellen, dubbade STRategic Attentive Writer (STRAW) kan lära sig hög nivå, tidsmässigt abstrakta makro-åtgärder av varierande längder som endast lärs från data utan föregående information. Dessa makroåtgärder möjliggör både strukturerad prospektering och ekonomisk beräkning. Vi demonstrerar experimentellt att STRAW levererar starka förbättringar på flera ATARI-spel genom att använda tidsförlängda planeringsstrategier (t.ex. Ms Pacman och Frostbite). Det är samtidigt en allmän algoritm som kan tillämpas på alla sekvensdata. I detta syfte visar vi också att när man utbildar sig i textförutsägelseuppgift, STRAW naturligtvis förutsäger frekventa n-gram (i stället för makroåtgärder), som visar hur allmänt tillvägagångssättet är.
De flesta liknar vårt arbete, REF utvecklat en neural planeringsmekanism, kallad strategisk uppmärksam läsare och författare (STRAW), som kan lära sig hög nivå tidsmässigt abstrakta makro-åtgärder.
Strategic Attentive Writer for Learning Macro-Actions
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Computer Science']}