Abstrakt. De flesta förstärkningslärande algoritmer optimerar den förväntade återkomsten av ett Markov beslutsproblem. Praktik har lärt oss att detta kriterium inte alltid är det lämpligaste eftersom många tillämpningar kräver robusta kontrollstrategier som också tar hänsyn till variansen i avkastningen. Klassisk kontrolllitteratur ger flera tekniker för att hantera riskkänsliga optimeringsmål som det så kallade värsta-fallet optimalitetskriteriet uteslutande fokuserar på risk-undvikande politik eller klassisk risk-känslig kontroll, som omvandlar avkastningen genom exponentiella nyttofunktioner. Även om den första metoden är typiskt alltför restriktiv, lider den senare av avsaknaden av ett uppenbart sätt att utforma en motsvarande modellfri förstärkning inlärningsalgoritm. Vår riskkänsliga förstärkningsalgoritm bygger på en helt annan filosofi. I stället för att omvandla processens återkomst omvandlar vi tidsskillnaderna under inlärningen. Även om vårt tillvägagångssätt återspeglar viktiga egenskaper hos den klassiska exponentiella nyttoramen, undviker vi dess allvarliga nackdelar för lärande. Baserat på en utökad uppsättning optimala ekvationer kan vi formulera riskkänsliga versioner av olika välkända förstärkande inlärningsalgoritmer som konvergerar med sannolikhet en under de vanliga förhållandena.
Mihatsch och Neuneier i REF anses problem med optimering av en riskkänslig förväntad avkastning av ett Markov beslutsproblem.
Risk-Sensitive Reinforcement Learning
{'venue': 'Machine Learning', 'journal': 'Machine Learning', 'mag_field_of_study': ['Computer Science']}