Vi utforskar djupt förstärkande inlärningsmetoder för multi-agent domäner. Vi börjar med att analysera svårigheten med traditionella algoritmer i multiagentfallet: Q-learning utmanas av en inneboende icke-stationaritet i miljön, medan policygradienten lider av en avvikelse som ökar när antalet agenter växer. Vi presenterar sedan en anpassning av aktörskritiska metoder som tar hänsyn till andra agenters handlingspolicy och som framgångsrikt kan lära sig politik som kräver komplex samordning av flera faktorer. Dessutom introducerar vi en utbildningsregim som använder en ensemble av policyer för varje agent som leder till mer robusta multiagentpolicyer. Vi visar styrkan i vår strategi jämfört med befintliga metoder i samarbets- och konkurrensscenarier, där agentpopulationer kan upptäcka olika fysiska och informativa samordningsstrategier. * Lika lön. ArXiv:1706.02275v2 [cs. LG] 21 Jun 2017 avgörande för att stabilisera djup Q-lärande. Policy gradient metoder, å andra sidan, uppvisar vanligtvis mycket hög varians när samordning av flera agenter krävs. Alternativt kan man använda modellbaserad policyoptimering som kan lära sig optimal policy via back-propagation, men detta kräver en (differentierad) modell av världsdynamiken och antaganden om samspelet mellan agenter. Att tillämpa dessa metoder på konkurrenskraftiga miljöer är också en utmaning ur ett optimeringsperspektiv, vilket framgår av den ökända instabiliteten i kontradiktoriska träningsmetoder [11]. I detta arbete föreslår vi en allmän flerspråkig inlärningsalgoritm som: (1) leder till inlärda strategier som endast använder lokal information (dvs. deras egna observationer) vid tidpunkten för utförandet, (2) inte antar en differentierad modell av miljödynamiken eller någon särskild struktur på kommunikationsmetoden mellan agenter, och (3) är tillämplig inte bara på samverkan utan på konkurrens eller blandad interaktion som inbegriper både fysiskt och kommunikativt beteende. Förmågan att agera i blandade samarbets-konkurrensmiljöer kan vara avgörande för intelligenta agenter; medan konkurrenskraftig utbildning ger en naturlig läroplan för lärande [30], agenter måste också uppvisa kooperativt beteende (t.ex. med människor) vid tidpunkten för avrättningen.
För att ta itu med frågan om förstärkning inlärningsmetod för multiagentinställningar, Lowe et al. I REF föreslogs fleragenter och aktörer som är kritiska till blandade samarbetskonkurrenter.
Multi-Agent Actor-Critic for Mixed Cooperative-Competitive Environments
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Computer Science', 'Mathematics']}