I Förstärkning Lärande (RL) styrs en agent av de belöningar den får från belöningsfunktionen. Tyvärr kan det ta många interaktioner med miljön att lära sig av glesa belöningar, och det kan vara utmanande att ange belöning funktioner som återspeglar komplexa belöningsvärd beteende. Vi föreslår att man använder belöningsmaskiner (RMs), som är automatiserade representationer som exponerar belöningsfunktionsstrukturen, som en normal formrepresentation för belöningsfunktioner. Vi visar hur specifikationer av belöning på olika formella språk, inklusive LTL och andra vanliga språk, automatiskt kan översättas till RMs, vilket minskar bördan av komplexa belöning funktionsspecifikation. Vi visar sedan hur den exponerade strukturen i belöningsfunktionen kan utnyttjas genom skräddarsydda q-lärande algoritmer och automatiserade belöningsformning tekniker för att förbättra proveffektiviteten i förstärkande inlärningsmetoder. Experiment visar att dessa RM-skräddarsydda tekniker avsevärt överträffar state-of-the-art (djup) RR algoritmer, lösa problem som annars inte rimligen kan lösas genom befintliga metoder.
REF omvandla belöningsfunktioner som uttrycks i olika formella språk till RM, och föreslå en belöningsformning metod som kör värde iteration på RM stater.
LTL and Beyond: Formal Languages for Reward Function Specification in Reinforcement Learning
{'venue': 'IJCAI', 'journal': None, 'mag_field_of_study': ['Computer Science']}