Vi anser att stokastiska multi-armad bandit (MAB) problem i en miljö där en spelare kan, till en kostnad, pre-observe en eller flera armar innan du spelar en av dem i varje runda. Bortsett från den klassiska trade-o mellan prospektering (försöka ut fler vapen till ND den bästa) och exploatering (sticka med armen tros oer den högsta belöningen), möter vi ett ytterligare dilemma i varje enskild runda, dvs. pre-observing fler armar ger en högre chans att spela den bästa, men ådrar sig en större kostnad som minskar den totala belöningen. Vi utformar en observation-Innan-Play (OBP) policy för vapen med Bernoulli belöningar, som kan generaliseras till någon i.i.d. Belöningsfördelningen begränsas till [0, 1]. Vår strategi skulle kunna möjliggöra en bättre policy för sekundär spektrumaccess i kognitiva Ratio-nätverk, där användare kan känna av flera kanalers ockcupancies innan de väljer en som de ska överföra. För att utvärdera vår politik visar vi på det beklagande som gapet mellan den förväntade totala belöningen från vår OBP-politik och den som uppnås genom den förväntade optimala, som alltid väljer en optimal sekvens av vapen för att pre-observe baserat på den perfekta kunskapen om armfördelningen. Experiment visar att vår OBP-policy har sublinjärt beklagande och kan överträffa den klassiska MAB-algoritmen när kostnaden för förobservationer är relativt låg. Multibeväpnad bandit, förobservationer.
I ett nytt verk REF studerar författarna ett banditproblem med Bernoulli belöningar där i varje omgång, beslutsfattaren föreslår en ordnad lista över K-vapen, och spelar den första armen med observerad belöning lika med 1.
Observe Before Play: Multi-armed Bandit with Pre-Observations
{'venue': 'PERV', 'journal': None, 'mag_field_of_study': ['Computer Science', 'Mathematics']}