Abstract-Vi anser att restless multiarmad bandit problem med okänd dynamik där en spelare väljer en ur armarna att spela vid varje gång. Belöningen av varje arm transiteras enligt en okänd markovisk regel när den spelas och utvecklas enligt en godtycklig okänd slumpmässig process när den är passiv. Prestandan av en arm val politik mäts genom ånger, definieras som belöningsförlust med avseende på fallet där spelaren vet vilken arm är mest givande och alltid spelar den bästa armen. Vi konstruerar en politik med en interleating utforskning och exploatering epok struktur som uppnår en ånger med logaritmisk ordning. Vi utvidgar problemet ytterligare till en decentraliserad miljö där flera distribuerade spelare delar vapnen utan informationsutbyte. Under både en exogen rastlös modell och en endogen rastlös modell visar vi att en decentraliserad utvidgning av den föreslagna politiken bevarar den logaritmiska ångerordningen som i den centraliserade situationen. Resultaten gäller adaptiv inlärning i olika dynamiska system och kommunikationsnät samt finansiella investeringar. Index Terms-Distributed learning, online learning, ånger, rastlös multiarmad bandit (RMAB).
En politik, som kallas deterministisk sekvensering av prospektering och exploatering (DSE), utformades i REF.
Learning in a Changing World: Restless Multiarmed Bandit With Unknown Dynamics
{'venue': 'IEEE Transactions on Information Theory', 'journal': 'IEEE Transactions on Information Theory', 'mag_field_of_study': ['Mathematics', 'Computer Science']}