Deep Enhancement Learning (DRL) algoritmer har framgångsrikt tillämpats på en rad utmanande kontrolluppgifter. Dessa metoder lider dock vanligtvis av tre kärnproblem: tidsbunden kredittilldelning med glesa belöningar, brist på effektiv prospektering och sköra konvergensegenskaper som är extremt känsliga för hyperparametrar. Kollektivt begränsar dessa utmaningar i hög grad tillämpningen av dessa strategier på verkliga problem. Evolutionär algoritmer (EAs), en klass av svart box optimering tekniker inspirerade av naturlig utveckling, är väl lämpade att ta itu med var och en av dessa tre utmaningar. EA är dock i regel mycket komplext och har svårt att lösa problem som kräver optimering av ett stort antal parametrar. I detta dokument introducerar vi Evolutionary Enhancement Learning (ERL), en hybridalgoritm som utnyttjar en EA-population för att tillhandahålla diversifierade data för att utbilda en RL-agent, och återinför RL-agenten i EA-populationen med jämna mellanrum för att injicera gradientinformation i EA. ERL ärver EA:s förmåga att utföra timliga kredituppdrag med en mätare, effektiv prospektering med en rad olika policyer och stabilitet i en populationsbaserad strategi och kompletterar den med DRL:s icke-politiska förmåga att utnyttja gradienter för högre urvalseffektivitet och snabbare lärande. Experiment i en rad utmanande kontinuerliga kontrollriktmärken visar att ERL avsevärt överträffar tidigare DRL- och EA-metoder.
Evolutionärt förstärkande lärande (ERL) REF ger ett nytt paradigm för kombinationen av evolutionära algoritmer och förstärkande lärande.
Evolution-Guided Policy Gradient in Reinforcement Learning
{'venue': 'NeurIPS', 'journal': None, 'mag_field_of_study': ['Computer Science', 'Mathematics']}