Abstract-Vi anser att ett multiarmad bandit problem där den förväntade belöningen för varje arm är en linjär funktion av en okänd skalar med en tidigare fördelning. Målet är att välja en sekvens av armar som maximerar den förväntade totala (eller diskonterade totala) belöningen. Vi visar effektiviteten i en girig politik som utnyttjar den kända statistiska korrelationsstrukturen mellan armarna. I den oändliga horisonten diskonterade belöning inställning, visar vi att den giriga och optimala politik så småningom sammanfaller, och båda nöja sig med den bästa armen. Detta är i kontrast till Ofullständigt Lärande teorem för fallet med oberoende armar. I den totala belöningen, visar vi att den kumulativa Bayes risken efter perioder enligt den giriga politiken är som mest (log ), som är mindre än den nedre gränsen av (log 2 ) som fastställts av Lai [1] för en allmän, men annorlunda, klass av bandit problem. Vi etablerar också tätheten i våra gränser. Teoretiska och numeriska resultat visar att resultatet av vår politik skalar oberoende av antalet vapen. Index Terms-Markov beslutsprocess (MDP).
Mersereau m.fl. Ref överväga ett bandit problem där den förväntade belöningen definieras som en linjär funktion av en slumpmässig variabel, och den tidigare fördelningen är känd.
A Structured Multiarmed Bandit Problem and the Greedy Policy
{'venue': 'IEEE Transactions on Automatic Control', 'journal': 'IEEE Transactions on Automatic Control', 'mag_field_of_study': ['Computer Science']}