Djup förstärkning lärande algoritmer kan lära sig komplexa beteendemässiga färdigheter, men verklig tillämpning av dessa metoder kräver en stor mängd erfarenhet som samlas in av agenten. I praktiska sammanhang, som robotik, innebär detta att upprepade gånger försöka en uppgift, återställa miljön mellan varje försök. Alla uppgifter är dock inte lätt eller automatiskt reversibla. I praktiken kräver denna inlärningsprocess ett omfattande mänskligt ingripande. I detta arbete föreslår vi en autonom metod för säkert och effektivt förstärkande lärande som samtidigt lär sig en framåt- och återställningspolitik, med återställningspolitiken återställa miljön för ett efterföljande försök. Genom att lära oss en värdefunktion för återställningspolicyn kan vi automatiskt avgöra när den framtida policyn är på väg att gå in i ett icke-reversibelt tillstånd, vilket ger osäkerhetsmedvetna säkerhetsavbrott. Våra experiment visar att korrekt användning av återställningspolitiken i hög grad kan minska antalet manuella återställningar som krävs för att lära sig en uppgift, kan minska antalet osäkra åtgärder som leder till icke-reversibla stater, och kan automatiskt framkalla en läroplan.
REF föreslår att man lär sig både framåt- och återställningspolicyer samtidigt med två insatsvärdesfunktioner med hjälp av Deep RL.
Leave no Trace: Learning to Reset for Safe and Autonomous Reinforcement Learning
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Computer Science', 'Mathematics']}