Vi studerar problemet med säker förstärkning (SRL) med hjälp av Constomed Markov Decision Process (CMDP) formulering där en agent syftar till att maximera den förväntade totala belöningen med förbehåll för en säkerhetsbegränsning på det förväntade totala värdet av en kriteriumfunktion (t.ex. nytta). Vi fokuserar på en episodic inställning med funktionen approximation där belöning och kriterium funktioner och Markov övergångskärnor alla har en linjär struktur men inte införa några ytterligare antaganden på provtagningsmodellen. Att utforma SRL-algoritmer med påvisbar beräkningseffektivitet och statistisk effektivitet är särskilt svårt i detta sammanhang på grund av behovet av att införliva både säkerhetsbegränsningen och funktionens approximation i det grundläggande utnyttjandet/exploateringen. I detta syfte presenterar vi en Optimistisk Primal-Dual Proximal Policy OPtimization (OPDOP) algoritm där värdefunktionen uppskattas genom att kombinera den minstskaliga policyutvärderingen och en extra bonusterm för säker prospektering. Vi bevisar att den föreslagna algoritmen uppnår en O(d 1.5 H 3.5 Ă T ) beklagar och en O(d 1.5 H 3.5 Ă T ) begränsning överträdelse, där d är dimensionen av funktionen kartläggning, H är horisonten för varje episod, och T är det totala antalet steg. Vi etablerar dessa gränser under följande två inställningar: (i) Både belönings- och kriteriumfunktioner kan ändra kontradiktoriskt men avslöjas helt efter varje episod. (ii) Belönings-/kriteriets funktioner är fasta men återkopplingen efter varje avsnitt är bandit. Våra gränser beror på kapaciteten i statsrymden endast genom dimensionen av funktionen kartläggning och därmed våra resultat håller även när antalet stater går till oändlighet. Såvitt vi vet tillhandahåller vi den första bevisligen effektiva policyoptimeringsalgoritmen för CMDP:er med säker prospektering. * D. Ding, och M. R. Jovanović är med Ming Hsieh
I ett annat parallellt arbete studerar REF de begränsade episodiska MDPs med linjära strukturer och föreslår en primal-dual-type policyoptimering algoritm.
Provably Efficient Safe Exploration via Primal-Dual Policy Optimization
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Mathematics', 'Computer Science']}