Vi anser att problemet med fullt decentraliserat multi-agent förstärkningsinlärning (MARL), där agenterna är lokaliserade vid noderna i ett tidsvarierande kommunikationsnät. Vi utgår från att agenternas belöningsfunktioner kan motsvara olika uppgifter, och är bara kända för motsvarande agent. Dessutom gör varje agent individuella beslut baserade på både den information som observeras lokalt och de meddelanden som tas emot från sina grannar över nätverket. Inom denna inställning, är det kollektiva målet för agenterna att maximera den globalt genomsnittliga avkastningen över nätverket genom att utbyta information med sina grannar. I detta syfte föreslår vi två decentraliserade aktörskritiska algoritmer med funktionstillnärmning, som är tillämpliga på storskaliga MARL-problem där både antalet stater och antalet agenter är enormt stort. Under den decentraliserade strukturen utförs skådespelarens steg individuellt av varje agent utan behov av att dra slutsatser om andras politik. För det kritiska steget föreslår vi en uppdatering av samförståndet via kommunikation via nätverket. Våra algoritmer är helt inkrementella och kan implementeras på nätet. Konvergensanalyser av algoritmerna tillhandahålls när värdefunktionerna är ungefärliga inom klassen linjära funktioner. Omfattande simuleringsresultat med både linjära och ickelinjära funktions approximationer presenteras för att validera de föreslagna algoritmerna. Vårt arbete verkar vara den första studien av helt decentraliserade MARL algoritmer för nätverkade agenter med funktions approximation, med påvisbara konvergensgarantier.
I REF föreslås två multiagentiska aktörskritiska metoder och ger ett nästan säkert konvergensresultat med linjär approximation.
Fully Decentralized Multi-Agent Reinforcement Learning with Networked Agents
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Computer Science', 'Mathematics']}