Thompson Sampling, en av de äldsta heuristikerna för att lösa multi-armade banditer, har nyligen visat sig visa toppmoderna prestanda. Den empiriska framgången har lett till stora intressen i den teoretiska förståelsen av denna heuristiska. I detta dokument tar vi itu med detta problem på ett sätt som skiljer sig mycket från de befintliga insatserna. I synnerhet, motiverat av kopplingen mellan Thompson Provtagning och exponentierade uppdateringar, föreslår vi en ny familj av algoritmer som kallas Generalized Thompson Provtagning inom ramen för expertinlärning, som inkluderar Thompson Provtagning som ett specialfall. Liknar de flesta expert-lärande algoritmer, Generalized Thompson Provtagning använder en förlustfunktion för att justera experternas vikter. Allmänna ångergränser härleds, som också är omedelbar till två viktiga förlustfunktioner: kvadratförlust och logaritmisk förlust. I motsats till befintliga gränser gäller våra resultat för ganska allmänna kontextuella banditer. Vad som är ännu viktigare är att de kvantifierar effekten av den "föregående" fördelningen på de beklagande gränserna.
Däremot föreslås en variant av Thompson Provtagning, med en gräns som uttryckligen beror på entropi av föregående REF.
Generalized Thompson Sampling for Contextual Bandits
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Mathematics', 'Computer Science']}