Policy gradient metoder är ett tilltalande tillvägagångssätt i förstärkning lärande eftersom de direkt optimerar den kumulativa belöningen och kan enkelt användas med icke-linjära funktion approximerare såsom neurala nätverk. De två största utmaningarna är det stora antal prover som normalt krävs, och svårigheten att få en stabil och stadig förbättring trots den icke-stationäritet av inkommande data. Vi tar itu med den första utmaningen genom att använda värdefunktioner för att avsevärt minska variansen av skattningar av policygradient till priset av viss skevhet, med en exponentiellt viktad uppskattning av den fördelsfunktion som är jämförbar med TD(λ). Vi tar itu med den andra utmaningen genom att använda förtroenderegionoptimering för både policyn och värdefunktionen, som representeras av neurala nätverk. Vår strategi ger starka empiriska resultat på mycket utmanande 3D-locomotion uppgifter, lära sig köra gångar för två- och fyrsidig simulerade robotar, och lära sig en politik för att få den tvådelade att stå upp från att börja ligga på marken. I motsats till en kropp av tidigare arbete som använder handgjorda politiska representationer, våra neurala nätverk politik kartlägga direkt från rå kinematics till gemensamma vridmoment. Vår algoritm är helt modellfri, och mängden simulerad erfarenhet som krävs för lärandeuppgifterna på 3D-bidéer motsvarar 1-2 veckor i realtid.
Vårt arbete utökar också arbetet av REF som ger en generaliserad fördel uppskattning med förtroende region optimering förfarande för både policy och värdefunktion, som representeras av neurala nätverk.
High-Dimensional Continuous Control Using Generalized Advantage Estimation
{'venue': 'ICLR 2016', 'journal': 'arXiv: Learning', 'mag_field_of_study': ['Computer Science', 'Mathematics']}