Abstrakt. I Bayesian tillvägagångssätt för sekventiellt beslutsfattande, exakt beräkning av (subjektiv) nytta är intractable. Detta omfattar de flesta speciella fall av intresse, till exempel att förstärka inlärningsproblemen. Även om bruksgränserna är kända för att existera för detta problem, hittills ingen av dem var särskilt snäv. I detta dokument visar vi hur man effektivt beräknar en lägre gräns, vilket motsvarar nyttan av en nästan optimal minneslös politik för beslutsproblemet, som i allmänhet skiljer sig från både Bayes-optimal-politiken och den politik som är optimal för den förväntade MDP enligt den nuvarande uppfattningen. Vi visar sedan hur dessa kan tillämpas för att få en robust prospekteringspolitik i en bayesisk förstärkande inlärningsmiljö. Vi överväger beslutsproblem där en agent agerar i en (eventuellt okänd) miljö. Genom att välja handling ändrar agenten miljöns tillstånd och får dessutom skaklare belöningar. Agenten agerar för att maximera förväntningarna på nyttofunktionen: Ut T k=t γ k r k, där γ  och [0, 1] är en diskonteringsfaktor och där de momentana belöningarna r t  och [0, r max ] hämtas från en Markov beslutsprocess (MDP) μ, definierad på ett tillstånd utrymme S och ett åtgärdsutrymme A, båda utrustade med en lämplig metrisk och σ-algebra, med en uppsättning övergångssannolikhetsåtgärder T s,a μ s  på S, och en uppsättning belöningsannolikhetsåtgärder R s,a μ s, en A på R, så att: där s t  på S och en t  på A är tillståndet för MDP, och den åtgärd som agenten vidtar vid tiden t, respektive. Miljön kontrolleras via en politik π  på P. Detta definierar en villkorlig sannolikhetsmått på uppsättningen av åtgärder, så att P π (a t  på A, a t-1 ) = π (A) s t, a t-1 ) är sannolikheten för den åtgärd som vidtas vid tidpunkten t vara i A, där vi använder P, med lämpliga underskrifter, för att beteckna sannolikheter för händelser och s ts 1,. .., s t och a t-1 a 1,......................................................... .., a t-1 betecknar sekvenser av stater och åtgärder respektive. Vi använder P k för att beteckna uppsättningen av k-order Markov politik. Viktiga specialfall är uppsättningen av blinda policies P 0 och uppsättningen av minneslösa policies P 1. En policy i π  på P k k är stationär, när π(A) är t t-k+1, a t-1 t-k+1) = π(A  på k, a k-1 ) för alla t.
I ett nyligen publicerat dokument REF visar vi dock hur man kan få en nästan optimal minneslös politik för det okända MDP-fallet, vilket skulle vara tillämpligt i detta sammanhang.
Robust Bayesian reinforcement learning through tight lower bounds
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Computer Science', 'Mathematics']}