För många tillämpningar av förstärkning lärande kan det vara mer bekvämt att ange både en belöning funktion och begränsningar, snarare än att försöka utforma beteende genom belöning funktion. Till exempel bör system som fysiskt interagerar med eller omkring människor uppfylla säkerhetskraven. Nya framsteg i policysökning algoritmer (Mnih et al., 2016; Schulman et al., 2015; Lillicrap et al., 2016; Levine et al., 2016) har aktiverat nya funktioner i högdimensionell kontroll, men inte överväga den begränsade inställningen. Vi föreslår begränsade policyoptimering (CPO), den första allmänna syftet policysökning algoritm för begränsad förstärkning lärande med garantier för nära-fast tillfredsställelse vid varje iteration. Vår metod gör att vi kan träna neurala nätverkspolicyer för högdimensionell kontroll samtidigt som vi ger garantier om policybeteende under hela utbildningen. Våra garantier bygger på ett nytt teoretiskt resultat, som är av oberoende intresse: vi visar oss vara bundna av den förväntade avkastningen för två politikområden till en genomsnittlig skillnad mellan dem. Vi visar effektiviteten i vår strategi för simulerade robotlocomotion uppgifter där agenten måste uppfylla begränsningar motiverade av säkerhet.
Genom att överväga begränsade MDPs som utökas med en uppsättning extra kostnader funktioner och ersätta dem med surrogat som är lätta att uppskatta, Ref ändamål en policysökning algoritm för begränsad förstärkning lärande med garantier för nära begränsning tillfredsställelse vid varje iteration.
Constrained Policy Optimization
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Computer Science', 'Mathematics']}