I detta dokument introduceras SC2LE (StarCraft II Learning Environment), en förstärkande inlärningsmiljö baserad på spelet StarCraft II. Detta område utgör en ny stor utmaning för att stärka inlärningen, som representerar en svårare klass av problem än vad som ansågs i de flesta tidigare arbeten. Det är ett multi-agent problem med flera spelare interagerar; det finns ofullständig information på grund av en delvis observerad karta; det har en stor åtgärd utrymme som innebär urval och kontroll av hundratals enheter; det har ett stort tillstånd utrymme som måste observeras endast från råa inmatnings funktion plan; och det har försenat kredittilldelning kräver långsiktiga strategier över tusentals steg. Vi beskriver observation, åtgärd och belöning specifikation för StarCraft II domän och ger en öppen källkod Python-baserat gränssnitt för att kommunicera med spelmotorn. Förutom de viktigaste spelkartorna erbjuder vi en serie minispel med fokus på olika delar av StarCraft II gameplay. För de viktigaste spelkartorna, tillhandahåller vi också en åtföljande datauppsättning av spel replay data från mänskliga experter spelare. Vi ger initiala baslinjeresultat för neurala nätverk tränade från denna data för att förutsäga spelresultat och spelare åtgärder. Slutligen presenterar vi initiala baslinjeresultat för kanoniska djupt förstärkande inlärningsagenter som tillämpas på StarCraft II domänen. På mini-spel, dessa agenter lär sig att uppnå en nivå av spel som är jämförbar med en nybörjare spelare. Men när tränas på huvudspelet, dessa agenter inte kan göra betydande framsteg. SC2LE erbjuder därför en ny och utmanande miljö för att utforska djupt förstärkande inlärningsalgoritmer och arkitekturer.
Vinyals m.fl. REF tillämpade djupt förstärkande lärande i en Starcraft II-miljö för att träna neurala nätverk med hjälp av speldata från expertspelare.
StarCraft II: A New Challenge for Reinforcement Learning
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Computer Science']}