Vi studerar uppkomsten av kooperativa beteenden i förstärka lärande agenter genom att införa en utmanande konkurrenskraftig multi-agent fotbollsmiljö med kontinuerlig simulerad fysik. Vi visar att decentraliserad, befolkningsbaserad träning med co-play kan leda till en progression i agenters beteende: från slumpmässig, till enkel bolljakt, och slutligen visar bevis på samarbete. Vår studie belyser flera av de utmaningar som möter vid storskalig multiagentutbildning i kontinuerlig kontroll. I synnerhet visar vi att automatisk optimering av enkla formande belöningar, inte själva bidrar till kooperativ beteende, kan leda till lång-horisont team beteende. Vi tillämpar vidare ett utvärderingsprogram, baserat på spelteoretiska principer, som kan bedöma agentprestanda i avsaknad av fördefinierade utvärderingsuppgifter eller mänskliga baslinjer.
REF introducerar MuJoCo Soccer Environment, en multi-agent fotbollsmiljö med kontinuerlig simulerad fysik som inte kan användas i en rent kooperativ miljö och inte medger partiell observerbarhet.
Emergent Coordination Through Competition
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Computer Science']}