Multiarmade banditproblem betraktas som ett paradigm för avvägningen mellan att utforska miljön för att hitta lönsamma åtgärder och att utnyttja det som redan är känt. I det stationära fallet, fördelningen av belöningarna inte förändras i tid, Upper-Confidence Bound (UCB) politik, föreslås i Agrawal (1995) och senare analyseras i, har visat sig vara optimal hastighet. En utmanande variant av MABP är det icke-stationära banditproblemet där spelaren måste bestämma vilken arm han ska spela samtidigt som han ställs inför möjligheten till en föränderlig miljö. I detta dokument tar vi hänsyn till den situation där fördelningen av belöningar förblir konstant under epoker och förändringar vid okända tidpunkter. Vi analyserar två algoritmer: den diskonterade UCB och skjutfönstret UCB. Vi etablerar för dessa två algoritmer en övre-bound för den förväntade ånger genom att övre-bound förväntningar på antalet gånger en suboptimal arm spelas. För detta ändamål, vi härleda en Hoeffding typ ojämlikhet för själv normaliserade avvikelser med ett slumpmässigt antal summander. Vi etablerar en lägre gräns för beklagar i närvaro av plötsliga förändringar i vapen belöning fördelningar. Vi visar att den diskonterade UCB och skjutfönstret UCB båda matchar den nedre gränsen upp till en logaritmisk faktor.
Ett annat arbete som utförs i REF tar hänsyn till den situation där fördelningen av belöningar förblir konstant under epoker och förändringar vid okända tidpunkter.
On Upper-Confidence Bound Policies for Non-Stationary Bandit Problems
{'venue': None, 'journal': 'arXiv: Statistics Theory', 'mag_field_of_study': ['Mathematics']}