Vi studerar problemet med att lära Markov beslutsprocesser med ändliga tillstånd och handlingsutrymmen när övergångssannolikheten fördelningar och förlustfunktioner väljs motsträvigt och tillåts förändras med tiden. Vi introducerar en algoritm vars beklagande med avseende på någon politik i en jämförelse klass växer som kvadratroten av antalet rundor i spelet, förutsatt att övergångssannolikheterna uppfyller en enhetlig blandning villkor. Vår strategi är effektiv så länge jämförelseklassen är polynom och vi kan beräkna förväntningar på urvalsvägar för varje policy. Att utforma en effektiv algoritm med litet beklagande för det allmänna fallet är fortfarande ett öppet problem. Låt X vara ett ändligt tillstånd utrymme och A vara en ändlig åtgärd utrymme. Låta S vara utrymmet för sannolikhetsfördelningar över uppsättningen S. Definiera en politik π som en kartläggning från det statliga utrymmet till A, π : X → A. Vi använder π(a till x) för att ange sannolikheten för att välja åtgärd a i tillstånd x under policy π. En slumpmässig åtgärd inom ramen för politiken π betecknas med π(x). En övergångssannolikhet kärna (eller övergångsmodell) m är en kartläggning från den direkta produkten av tillstånds- och åtgärdsutrymmen till X: m : X × A →  på X. Låt P (π, m) vara övergångssannolikhetsmatrisen för policy π under övergångsmodellen m. En förlustfunktion är en avgränsad verkligt värderad funktion över tillstånds- och åtgärdsrymder, l : X × A → R. För en vektor v, definiera v 1 = i  och v i  på. För en verkligt värderad funktion f definierad över X × A, definiera f ∞,1 = max x på X a på A f (x, a) på följande sätt: Den inre produkten mellan två vektorer v och w betecknas av v, w. Betrakta följande spel mellan en elev och en motståndare: på runda t, eleven väljer en politik π t från en politik klass Π. Som svar, motståndaren väljer en övergång modell m t från en uppsättning av modeller M och en förlust funktion l t. Inläraren vidtar åtgärder a t  på π t (. påx t ), flyttar till tillstånd x t+1  på m t (. på x t, a t ) och lider förlust l t (x t, a t ). För att förenkla diskussionen utgår vi från att motståndaren är omedveten, d.v.s. Dess val beror inte på elevens tidigare val. Vi antar att l t  på [0, 1]. I detta papper studerar vi den fullständiga informationsversionen av spelet, där eleven observerar övergångsmodellen m t och förlustfunktionen l t i slutet av omgången t. Spelet visas i Figur 1. Målet för eleven är att lida låg förlust under en period av T-rundor, medan elevens prestation mäts med hjälp av dess beklagande med avseende på den totala förlust han skulle ha uppnått om han följt den stationära politiken i jämförelseklassen Π minimerar den totala förlusten. Even-Dar et al. (2004) bevisa ett hårdhetsresultat för MDP-problem med kontradiktoriskt valda övergångsmodeller. Deras bevis tycks emellertid ha luckor, eftersom det förutsätter att eleven väljer en deterministisk politik innan han observerar staten vid varje omgång. Observera att en online-lärande algoritm bara behöver välja en åtgärd i det nuvarande tillståndet och behöver inte skapa en fullständig deterministisk politik vid varje omgång. Deras hårdhet resultat gäller deterministiska övergångsmodeller, medan vi gör en blandning antagande i vår analys. Således är det fortfarande ett öppet problem om det är möjligt att få en beräkningseffektiv algoritm med en sublinjär ånger. Yu och Mannor (2009a,b) studerar samma inställning, men får bara ett beklagande bundna som skalor med mängden variation i övergångsmodellerna. Denna ånger kan växa linjärt med tiden.
REF tar hänsyn till MDP-problem med (ouppenbara) kontradiktoriska förändringar i sannolikheter för statsövergång och belöningsfunktioner och tillhandahåller algoritmer för att minimera sorgen med avseende på en jämförelse av stationära (expert) policyer.
Online Learning in Markov Decision Processes with Adversarially Chosen Transition Probability Distributions
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Mathematics', 'Computer Science']}