Modellfria djupt förstärkande inlärningsalgoritmer (RL) har demonstrerats på en rad utmanande besluts- och kontrolluppgifter. Dessa metoder lider dock vanligtvis av två stora utmaningar: mycket hög prov komplexitet och spröd konvergens egenskaper, vilket kräver noggrann hyperparameter tuning. Båda dessa utmaningar begränsar allvarligt tillämpningen av sådana metoder till komplexa, verkliga domäner. I detta dokument föreslår vi mjuka skådespelare-kritiker, en icke-politisk aktör-kritisk djup RL-algoritm baserad på maximal entropi förstärkning läranderam. I detta sammanhang syftar skådespelaren till att maximera den förväntade belöningen samtidigt som den maximerar entropi. Det vill säga att lyckas med uppgiften samtidigt som man agerar så slumpmässigt som möjligt. Tidigare djupgående RL-metoder baserade på detta ramverk har formulerats som Q-learning-metoder. Genom att kombinera off-policy uppdateringar med en stabil stokastisk skådespelare-kritisk formulering, vår metod uppnår state-of-the-art prestanda på en rad kontinuerliga kontroll benchmarking uppgifter, överträffar tidigare on-policy och off-policy metoder. Dessutom visar vi att, i motsats till andra icke-politiska algoritmer, vår strategi är mycket stabil, uppnå mycket liknande prestanda i olika slumpmässiga frön.
En annan populär algoritm är den mjuka skådespelare-kritiska metoden (SAC) REF, som maximerar förväntad belöning och entropi samtidigt.
Soft Actor-Critic: Off-Policy Maximum Entropy Deep Reinforcement Learning with a Stochastic Actor
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Computer Science', 'Mathematics']}