Autonoma agenter optimerar belöningsfunktionen vi ger dem. Vad de inte vet är hur svårt det är för oss att utforma en belöningsfunktion som faktiskt fångar vad vi vill ha. När vi utformar belöningen, kan vi tänka på några specifika träningsscenarier, och se till att belöningen kommer att leda till rätt beteende i dessa scenarier. Det är oundvikligt att agenter stöter på nya scenarier (t.ex. nya typer av terräng) där optimering av samma belöning kan leda till oönskat beteende. Vår insikt är att belöningsfunktioner bara är observationer om vad designern egentligen vill ha, och att de bör tolkas i det sammanhang i vilket de utformades. Vi introducerar invers belöning design (IRD) som problemet med att dra slutsatsen det verkliga målet baserat på den utformade belöningen och utbildningen MDP. Vi introducerar ungefärliga metoder för att lösa IRD-problem och använder deras lösning för att planera riskaverse beteende i test MDPs. Empiriska resultat tyder på att detta tillvägagångssätt kan bidra till att lindra negativa biverkningar av felspecificerade belöningsfunktioner och minska belöning hacking.
I REF införs problemet med att dra slutsatsen om det verkliga målet baserat på den givna belöningen och den fleråriga utvecklingsplanen.
Inverse Reward Design
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Computer Science']}