Sammanfattning Vi introducerar en klass av MPDs som avsevärt förenklar Förstärkning Lärande. De har diskreta tillståndsutrymmen och kontinuerliga kontrollutrymmen. Kontrollerna leder till en omskalning av sannolikheterna för övergången till en underliggande Markovkedja. En kontrollkostnad som straffar KL-skillnaden mellan kontrollerade och okontrollerade övergångssannolikheter gör minimeringsproblemet konvext och möjliggör analytisk beräkning av de optimala kontrollerna med tanke på den optimala värdefunktionen. En exponentiell omvandling av den optimala värdefunktionen gör den minimerade Bellman-ekvationen linjär. Bortsett från deras teoretiska betydelse möjliggör de nya MDP efficient approximations till traditionella MDP. Kortaste problem är approximerade till godtycklig precision med största eigen value problem, vilket ger en O (n) algoritm. Exakta approximationer till generiska MDP erhålls via kontinuerlig inbäddning som påminner om LP avkoppling i heltal programmering. Den nya algoritmen (Z-learning) överträffar Q-learning.
Metoden i REF lär sig endast en optimal värdefunktion, istället för belöningsfunktionen.
Linearly-solvable Markov decision problems
{'venue': 'ADVANCES IN NEURAL INFORMATION PROCESSING SYSTEMS', 'journal': None, 'mag_field_of_study': ['Computer Science', 'Mathematics']}