Vi studerar problemet med värdeutvärdering utanför politiken för att stärka lärandet (RL), där man strävar efter att uppskatta värdet av en ny politik baserad på data som samlats in genom en annan politik. Detta problem är ofta ett kritiskt steg när man tillämpar RL på verkliga problem. Trots sin betydelse, befintliga allmänna metoder antingen har okontrollerad partiskhet eller lider hög varians. I detta arbete utsträcker vi dubbel robust estimator för banditer till sekventiella beslutsproblem, som får det bästa av båda världarna: det är garanterat opartiskt och kan ha en mycket lägre variation än den populära betydelsen provtagning estimatorer. Vi visar uppskattningens noggrannhet i flera referensproblem, och illustrerar dess användning som en subrutin för säker policyförbättring. Vi ger också teoretiska resultat på problemets inneboende hårdhet, och visar att vår estimator kan matcha den lägre gränsen i vissa scenarier.
Doubly Robust estimators för off policy value evaluation hade studerats i REF, där författarna använde Doubly Robust skattningar för Bandits som en kontroll variat för variansreduktion.
Doubly Robust Off-policy Value Evaluation for Reinforcement Learning
{'venue': 'ICML 2016', 'journal': 'arXiv: Learning', 'mag_field_of_study': ['Computer Science', 'Mathematics']}