Abstrakt. Det en-agent multi-armad bandit problemet kan lösas av en agent som lär sig värdena av varje åtgärd med hjälp av förstärkning lärande. Men den multi-agent version av problemet, iterated normal form spel, utgör en mer komplex utmaning, eftersom belöningarna som är tillgängliga för varje agent beror på de andras strategier. Vi anser beteendet hos värdebaserade inlärningsagenter i denna situation, och visar att sådana agenter i allmänhet inte kan spela på en Nash jämvikt, även om om smidiga bästa svar används, en Nash distribution kan nås. Vi introducerar en särskild värdebaserad inlärningsalgoritm, som vi kallar individuell Q-learning, och använder stokastisk approximation för att studera det asymptotiska beteendet, visar att strategier kommer att konvergera till Nash distribution nästan säkert i 2-spelare nollsummespel och 2-spelare partnerskapsspel. Spelareberoende inlärningsfrekvenser beaktas sedan, och det visas att denna förlängning konvergerar i vissa spel där många algoritmer, inklusive den grundläggande algoritm som ursprungligen övervägdes, misslyckas med att konvergera.
När utvärderingen av Q-värdena är helt indepen-dent, som i den enskilda Q-learning i REF, då konvergens till Nash equilibria har visat endast för 2player nollsummespel och 2-player partnerskapsspel med räknat många Nash equilibria.
Individual Q-learning in normal form games
{'venue': 'In submission', 'journal': None, 'mag_field_of_study': ['Mathematics', 'Computer Science']}