Matrix spel som Prison's Dilemma har guidat forskning om sociala dilemman i årtionden. Men de betraktar med nödvändighet valet att samarbeta eller hoppa av som en atomär åtgärd. I verkliga sociala dilemman utvidgas dessa val tidsmässigt. Kooperativitet är en egenskap som gäller för politik, inte elementära åtgärder. Vi inför sekventiella sociala dilemman som delar den blandade incitamentsstrukturen i matrisspel sociala dilemman men också kräver agenter att lära sig politik som genomför sina strategiska intentioner. Vi analyserar dynamiken i politik som lärts av flera egenintresserade oberoende lärande agenter, var och en med hjälp av sin egen djupa Qnätverk, på två Markov spel vi introducerar här: 1. en frukt samla spel och 2. en Wolfpack jaktspel. Vi karakteriserar hur inlärt beteende i varje domän förändras som en funktion av miljöfaktorer inklusive resurs överflöd. Våra experiment visar hur konflikter kan uppstå ur konkurrensen om gemensamma resurser och belysa hur den sekventiella karaktären av verkliga världens sociala dilemman påverkar samarbetet.
Som ett undantag studerar Ref det lärda beteendet hos djupa Q-nätverk i ett fruktsamlande spel och ett Wolfpack jaktspel som representerar sekventiella sociala dilemman.
Multi-agent Reinforcement Learning in Sequential Social Dilemmas
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Computer Science']}