Vi undersöker problemet med att utvärdera en politik i kontextuell banditmiljö med hjälp av endast observationer som samlats in under genomförandet av en annan politik. Vi visar att politisk utvärdering kan vara omöjlig om prospekteringspolitiken väljer åtgärder baserade på den sidoinformation som ges vid varje steg. Vi föreslår och bevisar sedan riktigheten av en principiell metod för politisk utvärdering som fungerar när så inte är fallet, även när prospekteringspolitiken är deterministisk, så länge varje åtgärd utforskas tillräckligt ofta. Vi tillämpar denna allmänna teknik på problemet med offlineutvärdering av internetreklampolitik. Även om våra teoretiska resultat endast håller när prospekteringspolitiken väljer annonser oberoende av sidoinformation, ett antagande som vanligtvis kränks av kommersiella system, visar vi hur smart användning av teorin ger icke-triviala och realistiska tillämpningar. Vi ger också en empirisk demonstration av effektiviteten i våra tekniker på verkliga annonsplaceringsdata.
Problemet med offline utvärdering i kontextuell bandit inställning studerades först av Langford et al. REF som tillhandahöll en uppskattning för en stationär policy.
Exploration scavenging
{'venue': "ICML '08", 'journal': None, 'mag_field_of_study': ['Computer Science']}