Vi studerar problemet med icke-politisk utvärdering (OPE) när det gäller att stärka lärandet (RL), där målet är att uppskatta resultatet av en politik utifrån de data som genereras av en eller flera andra politikområden. I synnerhet fokuserar vi på dubbel robusta (DR) estimatorer som består av en viktig provtagning (IS) komponent och en prestandamodell, och utnyttja den låga (eller noll) bias av IS och låg varians av modellen på samma gång. Även om modellens noggrannhet har en enorm inverkan på DR:s totala prestanda, har det mesta av arbetet med att använda DR-skattningarna i OPE varit inriktat på att förbättra IS-delen, och inte mycket på hur man lär sig modellen. I detta dokument föreslår vi alternativa DR-estimatorer, kallade mer robusta dubbel robusta (MRDR), som lär sig modellparametern genom att minimera variansen hos DR-estimatorn. Vi presenterar först en formulering för att lära DR-modellen i RL. Vi härleder sedan formler för variansen av DR uppskattning i både kontextuella banditer och RL, så att deras gradienter w.r.t. Modellparametrarna kan beräknas från proverna och föreslå metoder för att effektivt minimera variansen. Vi bevisar att MRDR-skattningarna är starkt konsekventa och asymptotiskt optimala. Slutligen utvärderar vi MRDR i banditer och RL-riktmärkesproblem, och jämför dess prestanda med de befintliga metoderna.
En mer omfattande bild av Doubly Robust estimator har föreslagits av REF där författarna presenterar formuleringen för lärande DR modell i RL och modellparametrarna lärs genom att minimera variansen av DR estimatorer.
More Robust Doubly Robust Off-policy Evaluation
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Computer Science']}