I detta dokument föreslår vi en ny förstärkningsläraralgoritm bestående av en stokastisk variansreducerad version av policygradient för att lösa Markovs beslutsprocesser (MDP). Stochastic varians-reducerad gradient (SVRG) metoder har visat sig vara mycket framgångsrika i övervakad lärande. Deras anpassning till policygradienten är dock inte enkel och måste ta hänsyn till I) en icke-konkav objektiv funktion, II) approximationer i den fullständiga gradientberäkningen och III) en icke-stationär provtagningsprocess. Resultatet är SVRPG, en stokastisk variansreducerad algoritm för policygradient som utnyttjar vikter för att bevara objektiviteten i gradientberäkningen. Enligt standardantaganden om MDP ger vi konvergensgarantier för SVRPG med en konvergensgrad som är linjär under ökande batchstorlekar. Slutligen föreslår vi praktiska varianter av SVRPG, och vi utvärderar dem empiriskt på kontinuerliga MDP.
Till exempel har en stokastisk variansreducerad policygradient (SVRPG) algoritm föreslagits i REF att återanvända tidigare gradient beräkningar för att minska variansen av den aktuella uppskattningen.
Stochastic Variance-Reduced Policy Gradient
{'venue': 'Proceedings of the 35 th International Conference on Machine Learning, Stockholm, Sweden, PMLR 80, 2018', 'journal': None, 'mag_field_of_study': ['Computer Science', 'Mathematics']}