Många verkliga problem, som t.ex. routing av nätpaket och trafikstyrning i städer, är naturligtvis modellerade som multiagentiska förstärkningsproblem (RL). Befintliga multiagentiska RL-metoder är dock i regel bristfälliga i problemstorleken. Därför är en viktig utmaning att översätta framgången med djupt lärande på singelagent RL till multiagent-miljön. En viktig stötesten är att oberoende Q-learning, den mest populära multi-agent RL metoden, introducerar icke-stationäritet som gör det oförenligt med erfarenhet replay minne som djup RL förlitar sig på. I detta dokument föreslås två metoder som tar itu med detta problem: 1) konditionering av varje agenss värdefunktion på ett fotavtryck som skingrar åldern på de data som provtagits från replay-minnet och 2) med hjälp av en multiagent-variant av betydelseprovtagning för att naturligt förmultna föråldrade data. Resultat på en utmanande decentraliserad variant av StarCraft enhet mikromanagement bekräftar att dessa metoder möjliggör en lyckad kombination av erfarenhet replay med multi-agent RL.
Ett problem med självständigt lärande är dock att miljön blir icke-stationär REF.
Stabilising Experience Replay for Deep Multi-Agent Reinforcement Learning
{'venue': 'ICML', 'journal': None, 'mag_field_of_study': ['Computer Science']}