Vi utvecklar en inlärningsprincip och en effektiv algoritm för batch-inlärning från loggad bandit-återkoppling. Denna inlärningsinställning är allmänt förekommande i online-system (t.ex. annonsplacering, webbsökning, rekommendation), där en algoritm gör en förutsägelse (t.ex. annonsrankning) för en given input (t.ex., fråga) och observerar bandit feedback (t.ex., användaren klickar på presenterade annonser). Vi tar först itu med inlärningsproblemets kontrafaktiska karaktär genom benägenhet att göra poäng. Därefter bevisar vi generaliseringsfelgränser som står för variansen av den benägen-viktade empiriska riskskattaren. Dessa konstruktiva begränsningar ger upphov till principen om kontrafaktisk riskminimering (CRM). Vi visar hur CRM kan användas för att härleda en ny inlärningsmetod - kallad Policy Optimizer för Exponential Models (POEM) - för lärande stokastiska linjära regler för strukturerad output förutsägelse. Vi presenterar en nedbrytning av POEM-målet som möjliggör effektiv stokastisk gradientoptimering. POEM utvärderas på flera multi-etikett klassificeringsproblem som visar avsevärt förbättrad robusthet och generalisering prestanda jämfört med den senaste tekniken.
I REF utvecklade författarna principen om kontrafaktisk riskminimering (CRM) för batch-inlärning från banditfeedback (BLBF).
Counterfactual Risk Minimization: Learning from Logged Bandit Feedback
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Mathematics', 'Computer Science']}