Vi får en ny inneboende social motivation för multi-agent förstärkning lärande (MARL), där agenter belönas för att ha kausal inflytande över en annan agents handlingar. Orsakssamverkan bedöms med hjälp av kontrafaktiskt resonemang. Belöningen är inte beroende av att man observerar en annan agents belöningsfunktion, och är därför en mer realistisk inställning till MARL än den som användes i tidigare arbete. Vi visar att belöningen för kausalt inflytande är relaterad till att maximera den ömsesidiga informationen mellan agenters handlingar. Vi testar tillvägagångssättet i utmanande sociala dilemmamiljöer, där det konsekvent leder till ökat samarbete mellan agenter och högre kollektiv belöning. Dessutom finner vi att givande inflytande kan leda agenter att utveckla framväxande kommunikationsprotokoll. Vi använder därför inflytande för att utbilda agenter att använda en explicit kommunikationskanal, och finner att det leder till effektivare kommunikation och högre kollektiv belöning. Slutligen visar vi att inflytande kan beräknas genom att förse varje agent med en intern modell som förutsäger andra agenters handlingar. Detta gör det möjligt att beräkna det sociala inflytandet utan att använda en centraliserad controller, och som sådan utgör en betydligt mer allmän och skalbar induktiv bias för MARL med oberoende agenter. ArXiv:1810.08647v2 [cs. LG] 14 Dec 2018 belöningsstruktur, liknande fångens Dilemma. För varje enskild agent har "defekterande" (icke-kooperativt beteende) den högsta vinsten. Den kollektiva belöningen blir dock bättre om alla agenter väljer att samarbeta. Den paradoxala lönestrukturen i dessa uppgifter gör det extremt svårt för typiska RL-agenter att uppnå kooperativ social dynamik. Vi visar att socialt inflytande gör det möjligt för agenter att lära sig att samarbeta i dessa miljöer, och göra följande bidrag: • Vi visar att djupa RL-agenter utbildade med den föreslagna sociala influens belöningen samarbetar för att uppnå högre kollektiv belöning än baslinje djupa RL-agenter (Mnih et al., 2016). I vissa fall uppnås detta samarbete eftersom influencer agenter lär sig att använda sina handlingar som ett framväxande kommunikationsprotokoll, liknande beteende sett hos djur (von Frisch, 1969). • Motiverade av föregående punkt, tillämpar vi influens belöningen för att träna djupa RL agenter att använda en explicit kommunikationskanal, som i Foerster et al. (2016)............................................................................................................ Vi visar att de kommunikationsprotokoll som tränas med inflytande belöningen meningsfullt relaterar till agenters handlingar, och att återigen, agenter tränade med inflytande belöning uppnå bättre kollektiva resultat. • Vi visar att det finns ett betydande samband mellan att vara påverkad genom kommunikationsmeddelanden och få högre individuell avkastning, vilket tyder på att inflytelserik kommunikation är till nytta för de agenter som tar emot den. • Slutligen, snarare än att beräkna det sociala inflytandet med hjälp av en centraliserad utbildningsram som i tidigare arbete (t.ex. Foerster m.fl. (2017; 2016) ), vi utökar tillvägagångssättet genom att bifoga en intern modell för andra agenter (MOA) nätverk till varje agent och utbildar den för att förutsäga åtgärder av varje annan agent. Agenten kan sedan simulera kontrafaktiska åtgärder och använda sin egen interna MOA för att förutsäga hur dessa kommer att påverka andra agenter och därmed beräkna sin egen inneboende influens belöning. Castañeda, Iain Dunning, Tina Zhu, Kevin R McKee, Raphael Koster, etc. Ojämlikhet förbättrar samarbetet i sociala dilemman mellan olika tider. I framsteg i neurala informationsbehandlingssystem (NIPS), Montreal, Kanada, 2018. Alexander S Klyubin, Daniel Polani och Chrystopher L Nehaniv. Befogenhet: Ett universellt agentcentriskt mått på kontroll. I evolutionär beräkning, 2005. 2005 års IEEE-kongress, volym 1, s. Det är 128-135. IEEE, 2005.......................................................................................................................... Kevin N. Laland. Darwins oavslutade symfoni: hur kulturen gjorde människans sinne / Kevin N. Laland. av språklig kommunikation från referensspel med symbolisk och pixel ingång. arXiv preprint arXiv:1804.03984, 2018. Joel Z Leibo, Viniius Zambaldi, Marc Lanctot, Janusz Marecki och Thore Graepel. Multi-agent förstärka lärande i sekventiella sociala dilemman. Om ja, varsågod.
Jacques m.fl. REF använder den ömsesidiga informationen mellan agentens policy och en måloberoende policy för att forma agentens beteende för att dölja eller ange sitt nuvarande mål.
Intrinsic Social Motivation via Causal Influence in Multi-Agent RL
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Computer Science', 'Mathematics']}