I detta dokument anser vi att Markovs beslutsprocesser (MDP) har feltillstånd. Feltillstånd är de stater som kommer in som är oönskade eller farliga. Vi definierar risken med avseende på en politik som sannolikheten för att komma in i en sådan stat när politiken förs. Vi anser att problemet med att hitta en bra politik vars risk är mindre än någon användarspecifik tröskel, och formalisera den som en begränsad MDP med två kriterier. Det första kriteriet motsvarar den värdefunktion som ursprungligen gavs. Vi kommer att visa att risken kan formuleras som en andra kriteriumfunktion baserad på en kumulativ avkastning, vars definition är oberoende av den ursprungliga värdefunktionen. Vi presenterar en modell gratis, heuristisk förstärkning inlärningsalgoritm som syftar till att hitta en bra deterministisk politik. Det baseras på viktning av den ursprungliga värdefunktionen och risken. Viktparametern är anpassad för att hitta en genomförbar lösning för det begränsade problemet som har en bra prestanda med avseende på värdefunktionen. Algoritmen applicerades framgångsrikt på kontrollen av en fodertank med stokastiska inflöden som ligger uppströms en destillationskolonn. Denna kontrolluppgift formulerades ursprungligen som ett optimalt kontrollproblem med slumpmässiga begränsningar och löstes under vissa antaganden på modellen för att få en optimal lösning. Kraften i vår inlärningsalgoritm är att den kan användas även när några av dessa restriktiva antaganden är avslappnade.
Geibel och Wysotzki REF definierade risken med avseende på en policy som sannolikheten för att gå in i sådana stater, och satte begränsningen som sannolikheten att vara mindre än ett fördefinierat tröskelvärde.
Risk-Sensitive Reinforcement Learning Applied to Control under Constraints
{'venue': 'Journal Of Artificial Intelligence Research, Volume 24, pages 81-108, 2005', 'journal': None, 'mag_field_of_study': ['Computer Science', 'Mathematics']}