Förstärkning Learning (RL) algoritmer har funnit begränsad framgång utöver simulerade tillämpningar, och en huvudorsak är avsaknaden av säkerhetsgarantier under inlärningsprocessen. Verkliga världen system skulle realistiskt misslyckas eller bryta innan en optimal controller kan läras. För att lösa detta problem föreslår vi en styrenhetsarkitektur som kombinerar (1) en modellfri RL-baserad styrenhet med (2) modellbaserade styrenheter som använder styrbarriärfunktioner (CBF) och (3) online-inlärning av den okända systemdynamiken, för att säkerställa säkerhet under lärandet. Vårt allmänna ramverk utnyttjar framgången med RL-algoritmer för att lära sig högpresterande regulatorer, medan CBF-baserade regulatorer både garanterar säkerhet och vägleder inlärningsprocessen genom att begränsa uppsättningen explorerbara poliser. Vi använder Gaussian Processes (GPs) för att modellera systemdynamiken och dess osäkerheter. Vår nya controllersyntesalgoritm, RL-CBF, garanterar säkerhet med hög sannolikhet under inlärningsprocessen, oavsett vilken RL-algoritm som används, och visar större politisk prospekteringseffektivitet. Vi testar vår algoritm på (1) kontroll av en inverterad pendel och (2) autonom bilföljning med trådlös fordon-till-fordon kommunikation, och visar att vår algoritm uppnår mycket större proveffektivitet i lärande än andra state-of-the-art algoritmer och upprätthåller säkerhet under hela inlärningsprocessen.
REF använder sig av förstärkt lärande med barriärfunktioner för att utveckla en uppskattning av dynamiken och en optimal politik.
End-to-End Safe Reinforcement Learning through Barrier Functions for Safety-Critical Continuous Control Tasks
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Mathematics', 'Computer Science']}