Vi betraktar problemet med icke-politisk utvärdering i Markovs beslutsprocesser. Utvärdering utanför politiken är uppgiften att utvärdera den förväntade avkastningen av en politik med data som genereras av en annan, beteendepolitik. Viktprovtagning är en teknik för icke-politisk utvärdering som omvärderar den icke-politiska avkastningen för att ta hänsyn till skillnader i sannolikheten för avkastning mellan de två politikområdena. I denna uppsats studerar vi betydelsen av provtagning med en uppskattad beteendepolicy där beteendepolicyuppskattningen kommer från samma uppsättning data som används för att beräkna betydelsen provtagningsuppskattning. Vi finner att denna estimator ofta sänker den genomsnittliga kvadrat fel av off-policy utvärdering jämfört med betydelse provtagning med den sanna beteendepolicyn eller med hjälp av en beteendepolicy som uppskattas från en separat datauppsättning. Våra empiriska resultat sträcker sig också till andra populära varianter av betydelse provtagning och visar att uppskatta en icke-markoviansk beteendepolicy kan ytterligare sänka medel kvadrat fel även när den sanna beteendepolicyn är Markovian.
I REF föreslår författarna en metod för provtagning av regressionsvikt där beteendepolicyn uppskattas med hjälp av samma uppsättning data som används för att beräkna skattningen av betydelseprovtagning.
Importance Sampling Policy Evaluation with an Estimated Behavior Policy
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Computer Science', 'Mathematics']}