Vi föreslår en allmän ram för entropiregulariserad genomsnittlig belöningsförstärkning i Markovs beslutsprocesser. Vårt tillvägagångssätt är baserat på att utöka linjär-programmering formulering av policyoptimering i MDPs för att rymma konvexa regulariseringsfunktioner. Vårt viktigaste resultat är att använda den villkorliga entropi av den gemensamma stat-action distributioner som legalisering ger en dubbel optimering problem som nära liknar Bellman optimality ekvationer. Detta resultat gör det möjligt för oss att formalisera ett antal state-of-the-art entropy-regularized förstärkning lärande algoritmer som ungefärliga varianter av Mirror Descent eller dubbla medelvärden, och därmed att argumentera om konvergens egenskaper hos dessa metoder. I synnerhet visar vi att den exakta versionen av TRPO algoritmen av Schulman et al. (2015) Konvergerar faktiskt till den optimala politiken, medan de entropireglerade policygradientmetoderna i Mnih et al. (2016) kan misslyckas med att konvergera till en fast punkt. Slutligen illustrerar vi empiriskt effekterna av att använda olika legaliseringstekniker på inlärningsprestanda i ett enkelt förstärkande inlärningsupplägg.
Dessutom har den exakta versionen av TRPO visat sig konvergera till den optimala politiken REF.
A unified view of entropy-regularized Markov decision processes
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Mathematics', 'Computer Science']}