Två av de ledande metoderna för modellfritt förstärkande lärande är policygradientmetoder och Q-learning-metoder. Q-lärandemetoder kan vara effektiva och urvalseffektiva när de fungerar, men det är inte väl underförstått varför de fungerar, eftersom de Q-värden de uppskattar empiriskt är mycket felaktiga. En partiell förklaring kan vara att Q-learning metoder är i hemlighet genomföra politiska gradient uppdateringar: vi visar att det finns en exakt motsvarighet mellan Q-learning och policy gradient metoder i inställningen av entropy-regularized förstärkning lärande, att "mjuk" (entropy-regularized) Q-learning är exakt likvärdigt med en policy gradient metod. Vi pekar också på ett samband mellan Q-learning metoder och naturliga policy gradient metoder. Experimentellt utforskar vi de entropiregulariserade versionerna av Q-learning och policygradienter, och vi finner dem såväl som (eller något bättre än) standardvarianterna på Atari-riktmärket. Vi visar också att likvärdigheten håller i praktiken genom att konstruera en Q-learning metod som nära matchar inlärningsdynamiken i A3C utan att använda ett målnätverk eller -grå prospekteringsschema.
Ref illustrerar ekvivalensen mellan mjukt Q-lärande och policygradient.
Equivalence Between Policy Gradients and Soft Q-Learning
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Computer Science', 'Mathematics']}