Vi föreslår en metalearning metod för lärande gradient-baserad förstärkning lärande (RL) algoritmer. Tanken är att utveckla en differential förlust funktion, så att en agent, som optimerar sin politik för att minimera denna förlust, kommer att uppnå höga belöningar. Förlusten parametriseras via temporalkonvolutioner över agentens erfarenhet. Eftersom denna förlust är mycket flexibel i sin förmåga att ta hänsyn till agentens historia, möjliggör det snabb uppgift lärande. Empiriska resultat visar att vår utvecklade policygradientalgoritm (EPG) uppnår snabbare lärande på flera randomiserade miljöer jämfört med en policygradientmetod utanför hyllorna. Vi visar också att EPG's lärda förlust kan generalisera till out-of-distribution testtid uppgifter, och uppvisar kvalitativt annorlunda beteende från andra populära metalearning algoritmer.
Till exempel, i utvecklade policy gradienter REF, den förlustfunktion mot vilken en agents policy är optimerad utvecklas.
Evolved Policy Gradients
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Computer Science', 'Mathematics']}