Vi föreslår en ny familj av policy gradient metoder för att förstärka lärande, som växlar mellan provtagningsdata genom interaktion med miljön, och optimerar en "surrogat" objektiv funktion med hjälp av stokastisk gradient uppstigning. Medan standard policy gradient metoder utför en gradient uppdatering per dataprov, föreslår vi en ny objektiv funktion som möjliggör flera epoker av minibatch uppdateringar. De nya metoderna, som vi kallar proximal policyoptimering (PPO), har några av fördelarna med förtroende regional policyoptimering (TRPO), men de är mycket enklare att genomföra, mer allmänt, och har bättre urval komplexitet (empiriskt). Våra experiment testar PPO på en samling av benchmarking uppgifter, inklusive simulerad robotisk locomotion och Atari spelspel, och vi visar att PPO överträffar andra online policy gradient metoder, och totalt ger en gynnsam balans mellan prov komplexitet, enkelhet, och vägg-tid.
Nyligen föreslogs en ny algoritm som kallas Proximal Policy Optimization (PPO) i REF.
Proximal Policy Optimization Algorithms
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Computer Science']}