Abstrakt. I den klassiska Markov-beslutsprocessen (MDP)-teorin söker vi efter en policy som säger minimerar den förväntade oändliga horisonten diskonterade kostnader. Förväntningen är naturligtvis en riskneutral åtgärd, som inte gör det i många tillämpningar, särskilt inom finansiering. Vi ersätter förväntningarna med en allmän riskfunktion och kallar sådana modeller riskmedvetna MDP-modeller. Vi anser att minimering av sådana riskfunktioner i två fall, den förväntade nyttoramen, och villkorligt Value-at-Risk, en populär sammanhängande riskmått. Senare överväger vi riskmedvetna MDP:er där risken uttrycks i begränsningarna. Detta inkluderar stokastisk dominans begränsningar, och de klassiska slump-konstruerade optimeringsproblem. I varje enskilt fall utvecklar vi ett konvext analytiskt tillvägagångssätt för att lösa sådana riskmedvetna MDP. I de flesta fall visar vi att problemet kan formuleras som ett oändligt dimensionellt linjärt program i ockupationsåtgärder när vi utökar statsrymden. Vi tillhandahåller en diskretiseringsmetod och finita approximationer för att lösa de resulterande LPs. Ett slående resultat är att det slumpbetonade MDP-problemet kan ses som ett linjärt program via den konvexa analysmetoden.
REF generalisera dessa studier till en bredare klass av riskåtgärder med hjälp av en konvex analytisk metod.
A Convex Analytic Approach to Risk-Aware Markov Decision Processes
{'venue': 'SIAM J. Control and Optimization', 'journal': 'SIAM J. Control and Optimization', 'mag_field_of_study': ['Mathematics', 'Computer Science']}