Befintliga metoder för att förstärka fleragenter är vanligtvis begränsade till ett litet antal agenser. När agentantalet till stor del ökar blir inlärningen oinskränkt på grund av dimensionalitetens förbannelse och den exponentiella tillväxten av agentinteraktioner. I detta dokument presenterar vi Mean Field Förstärkning Inlärning där interaktionen inom populationen av agenter approximas av de mellan en enda agent och den genomsnittliga effekten från den totala befolkningen eller angränsande agenter; samspelet mellan de två enheterna är ömsesidigt förstärkt: lärandet av den enskilda agentens optimala politik beror på dynamiken i befolkningen, medan dynamiken i befolkningen förändras enligt de kollektiva mönster för den individuella politiken. Vi utvecklar praktiskt medelfält Q-lärande och medelfält Actor-Critic algoritmer och analyserar konvergensen av lösningen till Nash jämvikt. Experiment på Gaussian klämma, Ising modell, och strid spel rättfärdiga lärande effektivitet av våra genomsnittliga fält metoder. Dessutom rapporterar vi det första resultatet för att lösa Ising-modellen via modellfria förstärkningsmetoder.
För att hantera ett extremt stort antal agenter, medel fält RL REF ) föreslås att beskriva interaktionen mellan en agent med dess angränsande agenter.
Mean Field Multi-Agent Reinforcement Learning
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Computer Science']}