Flera multiagentalgoritmer för förstärkning (MARL) har föreslagits för att optimera agenternas beslut. På grund av komplexiteten i problemet, de flesta av de tidigare utvecklade MARL algoritmer antog agenter antingen hade viss kunskap om det underliggande spelet (såsom Nash Equilibria) och / eller observerade andra agenter åtgärder och de belöningar de fick. Vi introducerar en ny MARL-algoritm kallad Weighted Policy Learner (WPL), som gör det möjligt för agenter att nå en Nash Equilibrium (NE) i benchmarking 2-player-2-action spel med minimal kunskap. Med hjälp av WPL är den enda feedback en agent behöver sin egen lokala belöning (agenten observerar inte andra agenter handlingar eller belöningar). Dessutom antar WPL inte att agenter känner till det underliggande spelet eller motsvarande Nash Equilibrium a priori. Vi visar experimentellt att vår algoritm konvergerar i jämförelsespel med två spelare och två åtgärder. Vi visar också att vår algoritm konvergerar i det utmanande Shapley spelet där tidigare MARL algoritmer misslyckades att konvergera utan att veta det underliggande spelet eller NE. Dessutom visar vi att WPL överträffar toppmoderna algoritmer i en mer realistisk miljö med 100 agenter som interagerar och lär samtidigt. En viktig aspekt av att förstå beteendet hos en MARL-algoritm är att analysera algoritmens dynamik: hur policys av flera lärande agenter utvecklas över tid som agenter interagerar med varandra. En sådan analys verifierar inte bara om agenter som använder en given MARL-algoritm så småningom kommer att konvergera, utan avslöjar också beteendet hos MARL-algoritmen före konvergens. Vi analyserar vår algoritm i två-spelare-två-action spel och visar att symboliskt bevisa WPL konvergens är svårt, på grund av den icke-linjära naturen av WPL dynamik, till skillnad från tidigare MARL algoritmer som hade antingen linjär eller bit-wise-linjär dynamik. Istället löser vi numeriskt WPL:s differentialekvationer och jämför lösningen med dynamiken i tidigare MARL-algoritmer.
Den viktade policy Learner (WPL REF ) är en annan variant av mellanstatliga avtal som också modulerar inlärningshastigheten, medan det inte kräver en referenspolicy.
A Multiagent Reinforcement Learning Algorithm with Non-linear Dynamics
{'venue': 'Journal Of Artificial Intelligence Research, Volume 33, pages 521-549, 2008', 'journal': None, 'mag_field_of_study': ['Computer Science', 'Mathematics']}