Abstrakt. I den här artikeln föreslår och analyserar vi en klass av aktörskritiska algoritmer. Dessa är två-tids-skal algoritmer där kritikern använder temporal skillnad lärande med en linjärt parameteriserad approximation arkitektur, och skådespelaren uppdateras i en ungefärlig gradient riktning, baserat på information som tillhandahålls av kritikern. Vi visar att kännetecknen för kritikern helst bör spänna över en subrymd som föreskrivs av valet av parameterisering av skådespelaren. Vi studerar aktörskritiska algoritmer för Markovs beslutsprocesser med polska tillstånds- och aktionsutrymmen. Vi anger och bevisar två resultat när det gäller deras konvergens. Nyckelord. Förstärkningslärande, Markov beslutsprocesser, skådespelare-kritiska algoritmer, stokastisk approximation AMS ämnesklassificeringar. 93E35, 68T05, 62L20 DOI. 10.1137/S0363012901385691 1. Inledning. Många problem inom finans, kommunikationsnät, verksamhetsforskning och andra områden kan formuleras som dynamiska programmeringsproblem. Men dimensionen av tillståndsrymden i dessa formuleringar är ofta för stor för att problemet ska vara lättåtkomligt. Dessutom är den underliggande dynamiken sällan känd och ofta svår att identifiera. Förstärkning av inlärning och neurodynamisk programmering [5, 19] metoder försöker övervinna dessa svårigheter genom att kombinera simuleringsbaserat lärande och kompakta representationer av policyer och värdefunktioner. Den stora majoriteten av dessa metoder faller in i en av följande två kategorier: a) Actor-only metoder fungerar med en parameteriserad familj av politik. Gradienten av prestanda, med avseende på aktörsparametrarna, beräknas direkt genom simulering, och parametrarna uppdateras i en förbättringsriktning [8, 10, 16, 23]. En möjlig nackdel av sådana metoder är att gradienten estimatorer kan ha en stor varians. I takt med att politiken ändras beräknas dessutom en ny gradient oberoende av tidigare uppskattningar. Därför finns det inget "inlärning" i betydelsen ackumulering och konsolidering av äldre information. (b) Kritiska-endast metoder bygger uteslutande på approximation av värdefunktion och syftar till att lära sig en ungefärlig lösning till Bellman ekvationen, som sedan förhoppningsvis kommer att föreskriva en nästan optimal politik. Sådana metoder är indirekta i den meningen att de inte försöker optimera direkt över ett politikområde. En sådan metod kan lyckas skapa en "god" approximation av värdefunktionen men saknar tillförlitliga garantier när det gäller den politik som blir följden. Aktörskritiska metoder [2] syftar till att kombinera de starka punkterna endast för skådespelare och kritiker. Kritikern använder en approximationsarkitektur och simulering för att lära sig en värdefunktion, som sedan används för att uppdatera skådespelarens policyparametrar i en
Konda och Tsitsiklis REF föreslog en aktörskritisk algoritm som använder temporal skillnad (TD) lärande med en linjär approximation arkitektur för att utbilda en kritiker funktion.
Actor-critic algorithms
{'venue': 'SIAM Journal on Control and Optimization', 'journal': None, 'mag_field_of_study': ['Mathematics', 'Computer Science']}