Två minimala krav för en tillfredsställande multiagent lärande algoritm är att det 1. lär sig att spela optimalt mot stationära motståndare och 2. konvergerar till en Nash jämvikt i självspel. Den tidigare algoritmen som har kommit närmast, WoLF-IGA, har visat sig ha dessa två egenskaper i 2-player 2-action (upprepade) spel-förutsatt att motståndarens blandade strategi är observerbar. En annan algoritm, ReDVaLeR (som introducerades efter algoritmen som beskrivs i detta papper), uppnår de två egenskaperna i spel med godtyckligt antal åtgärder och spelare, men kräver fortfarande att motståndarnas blandade strategier är observerbara. I detta papper presenterar vi AWESOME, den första algoritmen som garanterat har de två egenskaperna i spel med godtyckligt antal åtgärder och spelare. Det är fortfarande den enda algoritmen som gör det medan bara förlitar sig på att observera de andra spelarnas faktiska åtgärder (inte deras blandade strategier). Den lär sig också att spela optimalt mot motståndare som så småningom blir stationära. Den grundläggande idén bakom AWESOME (Adapt When Everyone is Stationary, Otherwise Move to Equilibrium) är att försöka anpassa sig till de andras strategier när de verkar stationära, men annars att dra sig tillbaka till en förutbestämd jämviktsstrategi. Vi ger experimentella resultat som tyder på att AWESOME konvergerar snabbt i praktiken. De tekniker som används för att bevisa egenskaperna hos AWESOME skiljer sig i grunden från dem som används för tidigare algoritmer, och kan hjälpa till att analysera framtida multiagentlärande algoritmer också.
I ett sådant spel, den föreslagna algoritmen söker efter en Nash jämvikt REF.
AWESOME: A general multiagent learning algorithm that converges in self-play and learns a best response against stationary opponents
{'venue': 'Machine Learning', 'journal': 'Machine Learning', 'mag_field_of_study': ['Mathematics', 'Computer Science']}