Utvärdering av politiken är ett avgörande steg i många förfaranden för att stärka lärandet, där man uppskattar en värdefunktion som förutser staternas långsiktiga värde inom ramen för en viss politik. I detta dokument fokuserar vi på policyutvärdering med linjär funktions approximation över en fast datauppsättning. Vi omvandlar först det empiriska policyutvärderingsproblemet till en (kvadratisk) konvex-konkav sadel punkt problem, och sedan presentera en primal-dual batch gradient metod, liksom två stokastiska varians reduktionsmetoder för att lösa problemet. Dessa algoritmer skala linjärt i både provstorlek och funktionsdimension. Dessutom uppnår de linjär konvergens även när problemet med sadelpunkt endast har en stark konkavitet i de dubbla variablerna men ingen stark konvexitet i de primära variablerna. Numeriska experiment på referensproblem visar hur effektiva våra metoder är.
I REF, den empiriska MSPBE först omvandlas till en kvadratisk konvex-konkav sadel-punkt optimering problem och varians reduktionsmetoder för SVRG Johnson och Zhang (2013) och SAGA Defazio et al. (2014) införlivades sedan i en primal-dual sats gradientmetod.
Stochastic Variance Reduction Methods for Policy Evaluation
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Mathematics', 'Computer Science']}