I detta arbete, föreslår vi att tillämpa förtroende region optimering för djup förstärkning lärande med hjälp av en nyligen föreslagna Kronecker-faktorn approximation till krökning. Vi utökar ramen för den naturliga policygradienten och föreslår att optimera både skådespelaren och kritikern med hjälp av Kronecker-faktorn ungefärlig krökning (K-FAC) med förtroenderegion; därför kallar vi vår metod Actor Critic med Kronecker-Factored Trust Region (ACKTR). Såvitt vi vet är detta den första skalbara förtroenderegionens naturliga gradientmetod för aktörskritiska metoder. Det är också en metod som lär sig icke-triviala uppgifter i kontinuerlig kontroll samt diskreta styrregler direkt från rå pixel ingångar. Vi testade vår strategi över diskreta domäner i Atari-spel samt kontinuerliga domäner i MuJoCo-miljön. Med de föreslagna metoderna kan vi uppnå högre belöningar och en 2- till 3-faldig förbättring av urvalseffektiviteten i genomsnitt, jämfört med tidigare toppmoderna på politiska aktörskritiska metoder. Koden finns på https://github.com/openai/basedlines.
Nyligen föreslog REF att man skulle tillämpa den naturliga gradientmetoden även på kritikern i det aktörskritiska ramverket, med hjälp av Kronecker-faktorade approximationer.
Scalable trust-region method for deep reinforcement learning using Kronecker-factored approximation
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Computer Science', 'Mathematics']}