Abstrakt. Multi-agent förstärkning lärande (RL) har viktiga konsekvenser för framtiden av mänsklig-agent teaming. Vi visar att förbättrad prestanda med multi-agent RL inte är en garanti för det samverkande beteende som anses vara viktigt för att lösa multi-agent uppgifter. För att ta itu med detta presenterar vi ett nytt tillvägagångssätt för kvantitativ utvärdering av samarbete i kontinuerliga rumsliga uppgifter med multiagent RL. Ett sådant mått är användbart för att mäta samverkan mellan beräkningsagenter och kan fungera som en utbildningssignal för samarbete i framtida RL-paradigm som involverar människor.  Förstärkning lärande (RL) är ett attraktivt alternativ för att ge adaptivt beteende i beräkningsagenter på grund av dess teoretiska generalisering till komplexa problem utrymmen [1, 2]. Framför allt gav djup RL nyligen slående resultat [3]. Utbyggnaden av RL till fleragentområdet har fått allt större uppmärksamhet eftersom behovet av personalteam har ökat, särskilt när det gäller att utbilda agenter för samarbete [1, [4] [5] [6] [7] [8]. Tyvärr, karaktären av multi-agent RL gör att garantera samarbete mellan agenter omöjligt utom i begränsade bevisbara fall, även när dessa metoder ger bättre uppgifter prestanda [1, 7]. Hittills har man utvärderat samarbete inom lärande med flera ämnen genom att mäta prestanda i uppgifter där samordning krävs. Även om detta kan vara tillfredsställande för diskreterade uppgifter där samarbetspolitiken är bevisligen optimal [1, 6–8] är det inte klart att denna metod generaliserar väl till mer komplexa och kontinuerliga uppgifter (såsom de som presenteras i [4, 5] och här). Frågan är hur man bedömer prestandahöjande samordning (eller samarbete) mellan agenter i multiagentiska RL-uppgifter. Här presenterar vi en metod lånad från ekologins område, kallad konvergenskorskartläggning (CCM), och visar hur den kan användas för att mäta samverkan mellan agenser under en rovdjursjakt. Dessutom visar vi ett slående resultat: en toppmodern multi-agent förstärkning lärande algoritm inte uppvisar samordnat beteende mellan agenter
I REF föreslås kausal påverkan som ett sätt att mäta samordning mellan agenter, särskilt med hjälp av konvergenskorskartor (CCM) för att analysera graden av beroende mellan två agenters politik.
Measuring collaborative emergent behavior in multi-agent reinforcement learning
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Computer Science']}