En av de största utmaningarna när det gäller att stärka lärandet är generaliseringen. I typiska djupa RL-metoder uppnås detta genom att approximera den optimala värdefunktionen med en lågdimensionell representation med hjälp av ett djupt nätverk. Även om detta tillvägagångssätt fungerar bra på många områden, på områden där den optimala värdefunktionen inte lätt kan reduceras till en lågdimensionell representation, kan lärandet vara mycket långsamt och instabilt. Detta dokument bidrar till att ta itu med sådana utmanande områden genom att föreslå en ny metod som kallas Hybrid Reward Architecture (HRA). HRA tar som ingång en sönderbruten belöning funktion och lär sig en separat värdefunktion för varje komponent belöning funktion. Eftersom varje komponent vanligtvis bara beror på en delmängd av alla funktioner, är den totala värdefunktionen mycket smidigare och kan lättare approximeras genom en lågdimensionell representation, vilket möjliggör effektivare lärande. Vi demonstrerar HRA på ett leksaksproblem och Atari-spelet Ms Pac-Man, där HRA uppnår övermänskliga prestationer.
I Hybrid Reward Architecture (HRA) föreslår REF en nedbrytning av belöningen och uppskattningen av värdefunktioner för varje del av denna nedbrytning som sedan kombineras som en approximation av den fulla avkastningen.
Hybrid Reward Architecture for Reinforcement Learning
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Mathematics', 'Computer Science']}