I många sekventiella beslutsfattande uppgifter, är det utmanande att designa belöning funktioner som hjälper en RL agent effektivt lära sig beteende som anses bra av agent designern. Ett antal olika formuleringar av problemet med belöningsdesign, eller nära varianter därav, har föreslagits i litteraturen. I denna uppsats bygger vi på den optimala belöningsramen för Singh et al. [2010] som definierar den optimala inneboende belöningsfunktionen som en som när den används av en RL-agent uppnår beteende som optimerar den uppgiftsspecificerande eller extrinsiska belöningsfunktionen. Tidigare arbete inom detta ramverk har visat hur goda inneboende belöningsfunktioner kan läras för lookahead-sökbaserade planeringsagenter. Huruvida det är möjligt att lära sig inneboende belöningsfunktioner för inlärningsagenter är fortfarande ett öppet problem. I detta dokument härleder vi en ny algoritm för lärande inneboende belöningar för policy-gradient baserade lärande agenter. Vi jämför prestandan hos en augmented agent som använder vår algoritm för att ge additiva inneboende belöningar till en A2C-baserad policyinlärare (för Atari spel) och en PPO-baserad policyinlärare (för Mujoco domäner) med en baslinjeagent som använder samma policyinlärare men med endast extrinsiska belöningar. Våra resultat visar bättre prestanda på de flesta men inte alla domäner.
Ett annat relevant arbete är LIRPG REF, som lär sig en parametrisk inneboende belöning funktion som kan läggas till den extrinsiska belöningen för att förbättra resultatet av policy gradient metoder.
On Learning Intrinsic Rewards for Policy Gradient Methods
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Computer Science', 'Mathematics']}