Vi presenterar den första klassen av policygradientalgoritmer som arbetar med både stat-värde och politisk funktion-tillnärmning, och är garanterade att konvergera under off-policy utbildning. Vår lösning är inriktad på problem när det gäller att stärka inlärningen där åtgärdsrepresentationen bidrar till dimensionalitetens förbannelse; det vill säga med kontinuerliga eller stora åtgärdsuppsättningar, vilket gör det omöjligt att uppskatta värdefunktioner (Q-funktioner). Med hjälp av stat-värde funktioner hjälper till att lyfta förbannelsen och som ett resultat naturligt förvandla vår policy-gradient lösning till klassisk Actor-Critic arkitektur vars skådespelare använder stat-värde funktion för uppdateringen. Våra algoritmer, Gradient Actor-Critic och Emphatic Actor-Critic, härleds utifrån den exakta gradienten av genomsnittligt tillstånd-värde funktionsmål och därmed garanteras att konvergera till sin optimala lösning, samtidigt som alla önskvärda egenskaper hos klassiska Actor-Critic metoder utan ytterligare hyper-parametrar. Till vår kännedom är detta första gången som konvergerande off-policy inlärningsmetoder har utvidgats till klassiska Actor-Critic metoder med funktion approximation.
I REF föreslås en gradientactor-Critic algoritm under ett annat mål, s d μ (s)v(s), för icke-politiskt lärande med funktions approximation.
Convergent Actor-Critic Algorithms Under Off-Policy Training and Function Approximation
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Computer Science']}