Vi studerar problemet med politisk utvärdering när det gäller fleragentsstärkande lärande. I detta problem arbetar en grupp agenter samarbetsvilligt för att utvärdera värdefunktionen för det globala diskonterade kumulativa belöningsproblemet, som består av lokala belöningar som observerats av agenterna. Under en rad tidssteg agerar agenterna, belönas, uppdaterar sin lokala uppskattning av värdefunktionen och kommunicerar sedan med sina grannar. Den lokala uppdateringen vid varje agent kan tolkas som en distribuerad konsensusbaserad variant av den populära tidsskillnaden inlärningsalgoritm TD(0). Medan distribuerade förstärkande inlärningsalgoritmer har presenterats i litteraturen, är nästan ingenting känt om deras konvergensgrad. Vårt huvudsakliga bidrag är att tillhandahålla en ändlig tidsanalys för konvergensen av den distribuerade TD(0) algoritmen. Vi gör detta när kommunikationsnätet mellan agenterna varierar i allmänhet. Vi får en explicit övre gräns på graden av konvergens av denna algoritm som en funktion av nätverket topologin och rabattfaktorn. Våra resultat speglar vad vi skulle förvänta oss av att använda distribuerad stokastisk lutning nedstigning för att lösa konvexa optimeringsproblem.
Den ändliga tidsanalysen av multi-agent TD bevisas av REF.
Convergence Rates of Distributed TD(0) with Linear Function Approximation for Multi-Agent Reinforcement Learning
{'venue': None, 'journal': 'arXiv: Optimization and Control', 'mag_field_of_study': ['Mathematics']}