Trots den senaste tidens framsteg när det gäller djupt förstärkande inlärning (DRL), tenderar DRL-utbildade agenter att vara sköra och känsliga för utbildningsmiljön, särskilt i de multiagentiska scenarierna. I multiagentmiljö kan en DRL-agents policy lätt fastna i en dålig lokal optima w.r.t. Utbildningspartner - den lärda politiken kan endast vara lokalt optimal för andra aktörers nuvarande politik. I detta dokument fokuserar vi på problemet med att utbilda robusta DRL-agenter med kontinuerliga åtgärder i den multiagentiska inlärningsmiljön så att de utbildade agenterna fortfarande kan generalisera när motståndarnas politik förändras. För att ta itu med detta problem föreslog vi en ny algoritm, MiniMax Multi-agent Deep Deterministic Policy Gradient (M3DDPG) med följande bidrag: (1) vi introducerar en minimax förlängning av den populära multi-agent djup deterministic policy gradient algoritm (MADDPG), för robust politiskt lärande; (2) eftersom det kontinuerliga åtgärdsutrymmet leder till beräkningsmässig intractability i vårt minimax lärande mål, föreslår vi Multi-Agent Adversarial Learning (MAAL) för att effektivt lösa vår föreslagna formulering. Vi utvärderar empiriskt vår M3DDPG-algoritm i fyra blandade kooperativa och konkurrenskraftiga multiagentmiljöer och de agenter som utbildats genom vår metod överträffar avsevärt befintliga baslinjer.
När det gäller förbättringen av MADDPG måste Minimax Multi-Agent DDPG (M3DDPG) REF noteras.
Robust Multi-Agent Reinforcement Learning via Minimax Deep Deterministic Policy Gradient
{'venue': 'AAAI', 'journal': None, 'mag_field_of_study': ['Computer Science']}