Mycket nyligen proximal policyoptimering (PPO) algoritmer har föreslagits som första ordningen optimeringsmetoder för effektiv förstärkning lärande. Medan PPO är inspirerad av samma lärande teori som rättfärdigar förtroende region policyoptimering (TRPO), PPO avsevärt förenklar algoritm design och förbättrar dataeffektivitet genom att utföra flera epoker av klippta policyoptimering från provade data. Även om klippning i PPO står för en viktig ny mekanism för effektiv och tillförlitlig uppdatering av politiken, kan det misslyckas med att på ett anpassningsbart sätt förbättra lärandet i enlighet med vikten av varje stat i urvalet. För att ta itu med denna fråga föreslås i detta dokument ett nytt surrogatlärandemål med en adaptiv urklippsmekanism som gör det möjligt för oss att utveckla en ny algoritm, känd som PPO-λ. PPO-λ optimerar politiken upprepade gånger på grundval av ett teoretiskt mål för anpassning av politiken. Samtidigt kan destruktivt stor politisk uppdatering effektivt förhindras genom både klippning och adaptiv kontroll av en hyperparameter λ i PPO-λ, vilket garanterar hög inlärningstillförlitlighet. PPO-λ har samma enkla och effektiva design som PPO. Empiriskt på flera Atari spel spelar uppgifter och benchmarking kontroll uppgifter, PPO-λ också uppnått klart bättre prestanda än PPO.
REF presenterade också en så kallad "adaptiv klippmekanism" för PPO.
An Adaptive Clipping Approach for Proximal Policy Optimization
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Computer Science', 'Mathematics']}