Kooperativa multiagentsystem kan naturligtvis användas för att modellera många verkliga problem, t.ex. nätpaketdragning eller samordning av autonoma fordon. Det finns ett stort behov av nya förstärkande inlärningsmetoder som effektivt kan lära sig decentraliserade strategier för sådana system. I detta syfte föreslår vi en ny multiagentisk aktörskritisk metod som kallas kontrafaktisk multiagent (COMA) policygradienter. COMA använder en centraliserad kritiker för att uppskatta Q-funktionen och decentraliserade aktörer för att optimera agenternas politik. För att ta itu med utmaningarna med fleragentkreditgivning använder den dessutom en kontrafaktisk grund som marginaliserar en enda agents agerande, samtidigt som de andra agenternas agerande fastställs. COMA använder också en kritikerrepresentation som gör det möjligt att beräkna det kontrafaktiska utgångsläget på ett effektivt sätt i ett enda framåtpass. Vi utvärderar COMA i testbädden av StarCraft enhet mikrohantering, med hjälp av en decentraliserad variant med betydande partiell observerbarhet. COMA förbättrar den genomsnittliga prestandan betydligt jämfört med andra multiagentiska aktörskritiska metoder i denna miljö, och de bäst presterande agenterna är konkurrenskraftiga med toppmoderna centraliserade styrenheter som får tillgång till hela staten. En annan viktig utmaning är fleragentkredituppdrag (Chang et al., 2003): i kooperativa miljöer genererar gemensamma åtgärder vanligtvis endast globala belöningar, vilket gör det svårt för varje agent att † Dessa författare bidrog lika till detta arbete.
REF använder också denna inställning.
Counterfactual Multi-Agent Policy Gradients
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Computer Science']}