I detta dokument överväger vi en klass av rastlösa multiarmade banditprocesser (RMAB) som uppstår i dynamisk flerkanalsåtkomst, användar/server schemaläggning och optimal aktivering i multiagentsystem. För denna klass av RMABs, fastställer vi indexerbarhet och få Whittle index i sluten form för både diskonterade och genomsnittliga belöningskriterier. Dessa resultat leder till ett direkt genomförande av Whittle index policy med anmärkningsvärt låg komplexitet. När armarna är stochastiskt identiska, visar vi att Whittle index policy är optimal under vissa förhållanden. Dessutom har den en semiuniversal struktur som undanröjer behovet av att känna till Markovs sannolikheter för övergång. Optimaliteten och den semiuniversella strukturen är ett resultat av likvärdigheten mellan Whittle-indexpolitiken och den myopiska politik som fastställs i detta arbete. För icke-identiska armar, utvecklar vi effektiva algoritmer för att beräkna en prestanda övre gräns ges av Lagrangian avkoppling. Den övre gränsens täthet och Whittleindexpolitikens nästan optimala prestanda illustreras med simuleringsexempel. Index Terms-Dynamisk kanalval, indexerbarhet, myopisk politik, opportunistisk åtkomst, rastlös multiarmad bandit (RMAB), Whittle index.
Slutligen visar dokument Ref optimaliteten i Whittle index policy för p
Indexability of Restless Bandit Problems and Optimality of Whittle Index for Dynamic Multichannel Access
{'venue': 'IEEE Transactions on Information Theory', 'journal': 'IEEE Transactions on Information Theory', 'mag_field_of_study': ['Mathematics', 'Computer Science']}