I många Real-world förstärka lärande applikationer, är tillgång till miljön begränsad till en fast datauppsättning, i stället för direkt (online) interaktion med miljön. Vid användning av dessa data för antingen utvärdering eller utbildning av en ny policy, korrekta uppskattningar av diskonterade stationära fördelningsförhållanden -korrigering termer som kvantifierar sannolikheten för att den nya politiken kommer att uppleva en viss stat åtgärd par normaliseras av sannolikheten med vilken stat-action paret visas i datasetet - kan förbättra noggrannhet och prestanda. I detta arbete föreslår vi en algoritm, DualDICE, för att uppskatta dessa mängder. I motsats till tidigare tillvägagångssätt är vår algoritm agnostisk mot kunskap om beteendepolicyn (eller policyer) som används för att generera datasetet. Dessutom undviker den all direkt användning av viktvikter, vilket gör att man undviker potentiella optimeringsegenskaper som är endemiska för tidigare metoder. Förutom att ge teoretiska garantier presenterar vi en empirisk studie av vår algoritm som tillämpas på policyutvärdering utanför policyn och finner att vår algoritm avsevärt förbättrar noggrannheten jämfört med befintliga tekniker.
Den enda publicerade algoritmen i litteraturen, så vitt vi vet, som löser agnostiskt beteende utanför policyutvärderingen är DualDICE REF.
DualDICE: Behavior-Agnostic Estimation of Discounted Stationary Distribution Corrections
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Computer Science', 'Mathematics']}