Det flerarmade banditproblemet har studerats ingående under det stationära antagandet. Men i verkligheten håller detta antagande ofta inte, eftersom fördelningen av belöningar själva kan förändras över tiden. I detta dokument föreslår vi en förändringsdetektor (CD) baserad ram för multiarmad bandit problem under bitvis-stationär inställning, och studera en klass av förändring-detektion baserade UCB (Upper Confidence Bound) policys, CD-UCB, som aktivt upptäcker förändringspunkter och startar om UCB index. Vi utvecklar sedan CUSUM-UCB och PHT-UCB, som tillhör CD-UCB-klassen och använder kumulativ summa (CUSUM) och Page-Hinkley Test (PHT) för att upptäcka förändringar. Vi visar att CUSUM-UCB får den mest kända ånger övre gränsen under milda antaganden. Vi visar också beklagande minskning av CD-UCB politik över godtycklig Bernoulli belöningar och Yahoo! Datauppsättningar av klickhastigheter på webbsidan.
Liu m.fl. REF föreslog att man skulle använda kumulativ summa och Page-Hinkley Test för att upptäcka plötsliga förändringar i miljön.
A Change-Detection based Framework for Piecewise-stationary Multi-Armed Bandit Problem
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Mathematics', 'Computer Science']}