I detta dokument undersöker vi Förberedande konservativ politik Optimisering (ECPO), en strategi för optimering av politiken som förbättrar prospekteringsbeteendet samtidigt som man säkerställer monotona framsteg i ett principfast mål. ECPO genomför maximal entropi prospektering inom ramen för en spegelnedstigning, men uppdaterar policyer med omvänd KL-projektion. Denna formulering förbigår oönskade läge söker beteende och undviker för tidig konvergens till suboptimal politik, samtidigt stödja starka teoretiska egenskaper såsom garanterad politisk förbättring. Experimentella utvärderingar visar att den föreslagna metoden avsevärt förbättrar den praktiska utforskningen och överträffar den empiriska prestandan hos toppmoderna policyoptimeringsmetoder i en uppsättning referensuppgifter.
REF tillhandahöll en strategi för optimering av politiken (förberedande konservativ politik optimering, ECPO) som genomför maximal entropi undersökning genom att ändra gradient uppskattningen vid varje uppdatering.
On Principled Entropy Exploration in Policy Optimization
{'venue': 'IJCAI', 'journal': None, 'mag_field_of_study': ['Computer Science']}