Abstract-Vi anser att en rastlös multiarmad bandit där varje arm kan vara i ett av två tillstånd. När en arm provtas är armens tillstånd inte tillgängligt för provtagaren. Istället, en binär signal med en känd slumpmässighet som beror på tillståndet i armen är tillgänglig. Ingen signal är tillgänglig om armen inte provtas. En armberoende belöning erhålls från varje provtagning. I varje steg av tiden ändrar varje arm tillstånd enligt kända övergångssannolikheter, som i sin tur beror på om armen provtas eller inte provtas. Eftersom armens tillstånd aldrig syns och måste härledas från den nuvarande tron och en möjlig binär signal, kallar vi detta den dolda Markov banditen. Vårt intresse är i en policy att välja arm(er) i varje steg för att maximera den oändliga horisonten diskonterad belöning. Vi söker specifikt att använda Whittle-indexet för att välja armarna. Vi analyserar först den singlearmade banditen och visar att den i allmänhet medger en approximativ tröskelliknande optimal policy när det finns en positiv belöning för åtgärden "ingen provtagning". Vi identifierar också flera specialfall där tröskelpolitiken verkligen är den optimala politiken. Därefter visar vi att en sådan enarmad bandit också uppfyller en approximativ indexability egenskap. För fallet när den enarmade banditen medger en optimal policy av tröskeltyp, utför vi beräkningen av Whittle-indexet för varje arm. Numeriska exempel illustrerar analysresultaten. Index Villkor-delvis observerade Markov beslutsprocess, rastlös multiarmad bandit (RMAB), dolda Markov modell multiarm banditer, indexabilitet, Whittle index, opportunistisk kommunikation.
Detta hänvisas också till den dolda Markov bandit REF.
On the Whittle Index for Restless Multiarmed Hidden Markov Bandits
{'venue': 'IEEE Transactions on Automatic Control', 'journal': 'IEEE Transactions on Automatic Control', 'mag_field_of_study': ['Computer Science', 'Mathematics']}