Förstärkning Lärande algoritmer kan lära sig komplexa beteendemönster för sekventiella beslutsfattande uppgifter där en agent interagerar med en miljö och får feedback i form av belöningar som tas från den. Traditionellt, sådana algoritmer fatta beslut, dvs., välja åtgärder för att utföra, varje gång steg av agent-environment interaktioner. I detta dokument föreslår vi en ny ram, Fine Grained Action Reppetition (Figar), som gör det möjligt för agenten att besluta om åtgärden samt tidsskalan för att upprepa den. FiGAR kan användas för att förbättra en algoritm för fördjupande lärande som upprätthåller en explicit policyuppskattning genom att möjliggöra temporal abstraktion i åtgärdsutrymmet. Vi demonstrerar empiriskt effektiviteten i vårt ramverk genom att visa prestandaförbättringar på toppen av tre policysökningsalgoritmer inom olika domäner: Asynkron fördel Aktör Critic i Atari 2600 domän, Trust Region Policy Optimering i Mujoco domän och Deep Deterministic Policy Gradients i TORCS bil racing domän.
REF tillhandahåller en annan intressant agent som använder makroåtgärder som kallas Fine Grained Action Reppetition (FiGAR).
Learning to Repeat: Fine Grained Action Repetition for Deep Reinforcement Learning
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Mathematics', 'Computer Science']}