I många verkliga förstärkande inlärningsproblem (RL), förutom att optimera den huvudsakliga objektiva funktionen, måste en agent samtidigt undvika att bryta ett antal begränsningar. Framför allt, förutom att optimera prestanda är det viktigt att garantera säkerheten för en agent under utbildning samt utplacering (t.ex. En robot bör undvika att vidta åtgärder – förberedande eller inte – som oåterkalleligen skadar dess hårdvara. För att integrera säkerhet i RL, härleder vi algoritmer inom ramen för begränsade Markov beslutsproblem (CMDP), en förlängning av standard Markov beslutsproblem (MDP) förstärkt med begränsningar för förväntade kumulativa kostnader. Vårt tillvägagångssätt hänger på en ny Lyapunov-metod. Vi definierar och presenterar en metod för att bygga Lyapunovs funktioner, som ger ett effektivt sätt att garantera den globala säkerheten för en beteendepolicy under utbildningen genom en uppsättning lokala, linjära begränsningar. Genom att använda dessa teoretiska underlag visar vi hur man använder Lyapunov-metoden för att systematiskt omvandla dynamisk programmering (DP) och RL-algoritmer till sina säkra motsvarigheter. För att illustrera deras effektivitet, utvärderar vi dessa algoritmer i flera CMDP planering och beslutsfattande uppgifter på ett säkerhetsriktmärke domän. Våra resultat visar att vår föreslagna metod avsevärt överträffar befintliga baslinjer när det gäller balansering av begränsad tillfredsställelse och prestanda.
REF använde Lyapunov funktioner för att garantera säkerheten för en beteendepolicy under utbildningen via en uppsättning lokala, linjära begränsningar.
A Lyapunov-based Approach to Safe Reinforcement Learning
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Computer Science', 'Mathematics']}