Vi föreslår en ny urvalseffektiv metod, kallad Supervised Policy Update (SPU), för djupt förstärkande lärande. Med utgångspunkt i data som genereras av den nuvarande politiken formulerar och löser SPU ett begränsat optimeringsproblem i det icke-parameteriserade proximala policyutrymmet. Med hjälp av övervakad regression konverterar den sedan den optimala icke-parameteriserade policyn till en parameteriserad policy, från vilken den tar nya prover. Metoden är allmän i att den gäller både diskreta och kontinuerliga åtgärdsutrymmen, och kan hantera ett brett utbud av närhetsbegränsningar för den icke-parameteriserade optimeringsproblem. Vi visar hur Naturpolicy Gradient och Trust Region Policy Optimization (NPG/TRPO) problem, och Proximal Policy Optimization (PPO) problem kan hanteras med denna metod. SPU-implementationen är mycket enklare än TRPO. När det gäller proveffektivitet, våra omfattande experiment visar SPU överträffar TRPO i Mujoco simulerade robotiska uppgifter och överträffar PPO i Atari videospel uppgifter.
Liksom V-MPO, Supervised Policy Update (SPU) REF strävar efter att exakt lösa ett optimeringsproblem och passa parametric policy till denna lösning.
Supervised Policy Update for Deep Reinforcement Learning
{'venue': None, 'journal': 'arXiv: Learning', 'mag_field_of_study': ['Mathematics', 'Computer Science']}