Abstract-I Multi-Armed Bandit (MAB) problem, det finns en given uppsättning av armar med okända belöningsmodeller. Varje gång väljer en spelare en arm att spela, syftar till att maximera den totala förväntade belöningen över en horisont av längd. Ett tillvägagångssätt som bygger på en deterministisk sekvensering av prospektering och exploatering (DSE) utvecklas för att utforma sekventiella strategier för urval av armen. Det visas att för alla ljus-tailed belöning fördelningar, DSEE uppnå optimal logaritmisk ordning av ånger, där ånger definieras som den totala förväntade belöningsförlusten mot det ideala fallet med kända belöningsmodeller. För tunga-tailed belöningsutdelningar, DSEE får ångra när ögonblicken av belöningsutdelningar finns upp till den th ordningen för och för. Med kunskapen om en upperbound på en ändlig stund av tung-tailed belöning fördelningar, erbjuder DSEE optimal logaritmisk ånger ordning. Den föreslagna DSEE-metoden kompletterar det befintliga arbetet med MAB genom att ge motsvarande resultat för allmänna belöningar. Dessutom, med en tydligt definierad tonfiskbar parameter-kardinalitet prospekteringssekvensen, DSEE metoden är lätt att förlänga till variationer av MAB, inklusive MAB med olika mål, decentraliserad MAB med flera spelare och ofullständiga belöningsobservationer under kollisioner, rastlös MAB med okänd dynamik, och kombinatoriska MAB med beroende armar som ofta uppstår i nätverk optimeringsproblem såsom den kortaste vägen, minsta sp anning träd, och dominerande set problem under okända slumpmässiga vikter. Index Terms-Multi-armade bandit, beklaga, deterministiska sekvensering av prospektering och exploatering, decentraliserade multi-armade bandit, rastlösa multi-armade bandit, combinatorial multi-armad bandit.
Dessutom, REF införa en deterministisk prospekterings-exploatering algoritm, som uppnår samma ordning beklagar som Robust-UCB för tung-tailed belöningar.
Deterministic Sequencing of Exploration and Exploitation for Multi-Armed Bandit Problems
{'venue': 'IEEE Journal of Selected Topics in Signal Processing', 'journal': 'IEEE Journal of Selected Topics in Signal Processing', 'mag_field_of_study': ['Computer Science', 'Mathematics']}