Fleragentinställningar blir snabbt allt viktigare inom maskininlärning. Utöver en uppsjö av det senaste arbetet med djupt multiagentiskt förstärkande lärande, hierarkiskt förstärkande lärande, generativa kontradiktoriska nätverk och decentraliserad optimering kan alla ses som exempel på denna inställning. Förekomsten av flera inlärningsagenter i dessa miljöer gör dock utbildningsproblemet icke-stationärt och leder ofta till instabil utbildning eller oönskade slutresultat. Vi presenterar lärande med Opponent-Learning Awareness (LOLA), en metod som resonerar om den förväntade inlärningen av de andra agenterna. LOLA lärregeln inkluderar en ytterligare term som förklarar effekten av agentens policy på den förväntade parameteruppdateringen av de andra agenterna. Vi visar att LOLA-uppdateringsregeln effektivt kan beräknas med hjälp av en förlängning av uppdatering av sannolikhetsförhållandets policygradient, vilket gör metoden lämplig för modellfritt förstärkande lärande. Denna metod skalar på så sätt till stora parameter- och ingångsutrymmen och icke-linjära funktionsuppskattare. Preliminära resultat visar att mötet mellan två LOLA-agenter leder till uppkomsten av tit-for-tat och därför samarbete i det oändligt itererade fängelse dilemmat, medan oberoende lärande inte gör det. På detta område får LOLA också högre utbetalningar jämfört med en naiv inlärare, och är robust mot exploatering med högre ordergradientbaserade metoder. Tillämpas på oändligt upprepade matchande mynt, endast LOLA agenter konvergera till Nash jämvikt. Vi tillämpar också LOLA på en grid world uppgift med ett inbäddat socialt dilemma med hjälp av djup återkommande politik. Genom att överväga att lära sig av den andre agenten lär sig LOLA - agenter återigen att samarbeta av själviska intressen.
LOLA REF, fast inte riktigt en prospekteringsstrategi, följer ett liknande paradigm: en agent bör resonera om effekterna av sina åtgärder på hur andra agenter lär sig.
Learning with Opponent-Learning Awareness
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Computer Science']}