Aktörskritiska metoder löser förstärkande inlärningsproblem genom att uppdatera en parameteriserad policy känd som en aktör i en riktning som ökar en uppskattning av den förväntade avkastningen känd som en kritiker. Befintliga verksamhetskritiska metoder använder dock endast kritikerns värden eller gradienter för att uppdatera den politiska parametern. I detta dokument föreslår vi en ny aktörskritisk metod som kallas den ledande skådespelaren-kritikern (GAC). GAC lär sig först en guideskådespelare som lokalt maximerar kritikern och sedan uppdaterar policyparametern baserad på guideskådespelaren genom övervakat lärande. Våra huvudsakliga teoretiska bidrag är två veck. För det första visar vi att GAC uppdaterar guidens skådespelare genom att utföra andra ordningens optimering i aktionsutrymmet där krökningsmatrisen är baserad på kritikerns hessianer. För det andra visar vi att den deterministiska policygradientmetoden är ett specialfall av GAC när hessierna ignoreras. Genom experiment visar vi att vår metod är en lovande förstärkande inlärningsmetod för kontinuerliga kontroller.
En färsk artikel, Guidade skådespelare Critic (GAC), föreslog självständigt en liknande nedbrytning REF.
Guide Actor-Critic for Continuous Control
{'venue': 'ICLR 2018', 'journal': 'arXiv: Machine Learning', 'mag_field_of_study': ['Computer Science', 'Mathematics']}