I dokumentet behandlas en klass av beslutsprocesser för flera agenter i Markov (MDP), där nätverksagenterna reagerar annorlunda (vilket framgår av de omedelbara slumpmässiga kostnaderna i ett steg) på ett globalt kontrollerat tillstånd och fjärrstyrningsåtgärder. I tidningen undersöks en distribuerad förstärkning inlärningsupplägg utan föregående information om den globala statsövergången och lokal agent kostnadsstatistik. Särskilt, med agenternas mål att minimera en nätverksgenomsnittlig obegränsad horisont diskonterade kostnader, föreslår tidningen en distribuerad version av Q-learning, QD-learning, där nätverksagenterna samarbetar genom lokal bearbetning och ömsesidigt informationsutbyte över ett glest (eventuellt stokastiskt) kommunikationsnät för att uppnå nätverksmålet. Under antagandet att varje agent endast är medveten om sina lokala kostnadsdata online och att det interagentiska kommunikationsnätet är svagt uppkopplat, är det föreslagna distribuerade systemet nästan säkert (a.s.) visat sig ge asymptotiskt den önskade värdefunktionen och den optimala stationära kontrollpolicyn för varje nätverksagent. De analytiska tekniker som utvecklats i dokumentet för att ta itu med den blandade tidsbaserade stokastiska dynamiken i samförståndet + innovationsformen, som uppstår till följd av det föreslagna interaktiva distribuerade systemet, är av oberoende intresse.
QD-learning utvecklas dock i REF under förutsättning att staten är fullt medveten om detta.
$QD$-Learning: A Collaborative Distributed Strategy for Multi-Agent Reinforcement Learning Through Consensus + Innovations
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Mathematics', 'Computer Science']}