I värdebaserade förstärkande inlärningsmetoder som djup Q-learning är det känt att fel i approximeringen av funktioner leder till överskattade värdeuppskattningar och suboptimala strategier. Vi visar att detta problem kvarstår i en aktörskritisk miljö och föreslår nya mekanismer för att minimera dess effekter på både skådespelaren och kritikern. Vår algoritm bygger på Double Q-learning, genom att ta det lägsta värdet mellan ett par kritiker för att begränsa överskattning. Vi drar kopplingen mellan målnätverk och överskattning partisk, och föreslår att skjuta upp policyuppdateringar för att minska per update fel och ytterligare förbättra prestanda. Vi utvärderar vår metod på sviten av OpenAI gym uppgifter, överträffar toppmoderna i varje testad miljö.
TD3 (Twin Delayed Deep Deterministic policy gradient) REF utvecklar en variant av Double Q-learning genom att ta minimivärdet mellan ett par kritiker för att begränsa överskattning.
Addressing Function Approximation Error in Actor-Critic Methods
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Computer Science', 'Mathematics']}