Framgången för populära algoritmer för djupt förstärkande lärande, såsom policygradienter och Q-learning, bygger i hög grad på tillgången till en informativ belöningssignal vid varje steg i den sekventiella beslutsprocessen. När belöningar endast är glest tillgängliga under en episod, eller en givande feedback ges först efter episodavslutning, dessa algoritmer utför suboptimalt på grund av det svåra i kredituppdrag. Alternativt, bana-baserade policyoptimeringsmetoder, såsom kors-entropi metod och utvecklingsstrategier, kräver inte per-timestep belöningar, men har befunnits lida av hög urval komplexitet genom att slutföra den timliga karaktären av problemet. Att förbättra effektiviteten hos RL-algoritmer i verkliga problem med glesa eller tillfälliga belöningar är därför ett trängande behov. I detta arbete introducerar vi en självimiterande inlärningsalgoritm som utnyttjar och utforskar väl i de glesa och episodiska belöningsinställningarna. Vi ser varje politik som en fördelning av statliga åtgärder och formulerar policyoptimering som ett divergensminimeringsproblem. Vi visar att med Jensen-Shannon divergens kan detta divergensminimeringsproblem reduceras till en policygradientalgoritm med formade belöningar inlärda från erfarenhetsreplays. Experimentella resultat indikerar att vår algoritm fungerar jämförbart med befintliga algoritmer i miljöer med täta belöningar och betydligt bättre i miljöer med glesa och episodiska belöningar. Vi diskuterar sedan begränsningar av självimitering lärande, och föreslår att lösa dem genom att använda Stein variationspolitik lutning nedstigning med Jensen-Shannon kärnan för att lära sig flera olika policys. Vi visar dess effektivitet på en utmanande variant av kontinuerlig kontroll MuJoCo locomotion uppgifter.
Gangwani m.fl. REF föreslog att man skulle lära sig flera olika policyer i en SIL-ram med Stein Variational Policy Gradient med Jensen-Shannon-kärnan.
Learning Self-Imitating Diverse Policies
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Computer Science', 'Mathematics']}