Även om djupt förstärkande lärande framgångsrikt har löst många utmanande kontrolluppgifter, har dess verkliga tillämplighet begränsats av oförmågan att garantera säkerheten för inlärda strategier. Vi föreslår ett tillvägagångssätt för att på ett kontrollerbart sätt förstärka lärandet genom en politik för utbildningsbeslut, som kan utgöra en komplex politik (eftersom den är icke-parametrisk), men som effektivt kan verifieras med hjälp av befintlig teknik (eftersom den är mycket strukturerad). Utmaningen är att beslutsträdspolitiken är svår att träna. Vi föreslår VIPER, en algoritm som kombinerar idéer från modellkompression och imitationslärande för att lära sig beslutsträdspolicyer som styrs av en DNN-policy (kallas oraklet) och dess Q-funktion, och visar att den avsevärt överträffar två baslinjer. Vi använder VIPER för att (i) lära sig en bevisligen robust beslut trädpolicy för en variant av Atari Pong med en symbolisk stat utrymme, (ii) lära sig ett beslut träd politik för en leksak spel baserat på Pong som bevisligen aldrig förlorar, och (iii) lära sig en påvisbart stabil beslut träd politik för cart-pole. I varje enskilt fall uppnår beslutsträdspolitiken samma resultat som den ursprungliga DNN-policyn.
REF lär beslut träd politik vägleds av en DNN politik som lärdes genom förstärkning lärande.
Verifiable Reinforcement Learning via Policy Extraction
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Mathematics', 'Computer Science']}