Den senaste tidens framsteg när det gäller policygradientmetoder och djupinlärning har visat att de är användbara för komplexa och förstärkande inlärningsproblem. Variansen i de uppskattningar av prestandagradienten som erhålls från simuleringen är dock ofta överdriven, vilket leder till dålig proveffektivitet. I detta papper använder vi den stokastiska variansen reducerad lutning nedstigning (SVRG) teknik [1] för modellfri policy gradient för att avsevärt förbättra proveffektiviteten. Den SVRG uppskattningen införlivas i en trust-region Newton konjugat gradient ram [2] för policyoptimering. På flera Mujoco uppgifter, vår metod uppnår betydligt bättre prestanda jämfört med den senaste modellen-fri policy gradient metoder i robotisk kontinuerlig kontroll såsom förtroende region policyoptimering (TRPO) [3].
REF introducerade SVRG i förtroende region policyoptimering för modellfri policy gradient och visade att den resulterande algoritmen SVRPO är mer prov effektiv än TRPO.
Stochastic Variance Reduction for Policy Gradient Estimation
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Mathematics', 'Computer Science']}