I detta dokument undersöker vi användningen av hierarkiskt förstärkande lärande (HRL) för att påskynda förvärvet av kooperativa multiagentuppgifter. Vi introducerar ett hierarkiskt ramverk för förstärkning av fleragenter (RL) och föreslår en hierarkisk multiagentalgoritm som kallas Kooperativ HRL. Inom denna ram är agenterna kooperativa och homogena (använd samma uppgift sönderdelning). Lärandet är decentraliserat, och varje agent lär sig tre inbördes relaterade färdigheter: hur man utför varje enskild deluppgift, i vilken ordning de ska utföras och hur de ska samordnas med andra agenter. Vi definierar kooperativa deluppgifter som är de deluppgifter där samordning mellan agenter avsevärt förbättrar utförandet av den övergripande uppgiften. De nivåer i hierarkin som omfattar kooperativa deluppgifter kallas samarbetsnivåer. En grundläggande egenskap med det föreslagna tillvägagångssättet är att det gör det möjligt för agenter att lära sig samordning snabbare genom att dela information på nivån för kooperativa underuppgifter, snarare än att försöka lära sig samordning på nivån för primitiva handlingar. Vi studerar den empiriska prestandan hos den Kooperativa HRL algoritmen med hjälp av två testbäddar: en simulerad två-robot sophämtning uppgift, och en större fyra-agent automatiserad styrda fordon (AGV) schemaläggning problem. Vi jämför prestanda och hastighet av Kooperativ HRL med andra lärande algoritmer, liksom flera välkända industriella AGV heuristics. Vi tar också upp frågan om rationellt kommunikationsbeteende bland autonoma agenter i detta dokument. Målet är att agenter ska lära sig både handlings- och kommunikationspolitik som tillsammans optimerar uppgiften med tanke på en kommunikationskostnad. Vi utökar det multiagentiska HRL-ramverket till att omfatta kommunikationsbeslut och föreslår en kooperativ multiagent-HRL-algoritm som kallas COM-Cooperative HRL. I denna algoritm lägger vi till en kommunikationsnivå till den hierarkiska nedbrytningen av problemet under varje samarbetsnivå. Innan en agent fattar ett beslut på ett kooperativt subtask, bestämmer den om det är värt att utföra en kommunikationsåtgärd. En kommunikationsåtgärd har en viss kostnad och ger agenten de åtgärder som väljs ut av de andra ombuden på samarbetsnivå. Vi demonstrerar effektiviteten hos COM-Cooperative HRL-algoritmen samt relationen mellan kommunikationskostnaden och den inlärda kommunikationspolitiken med hjälp av ett taxiproblem med flera agenter.
REF presenterar med MAXQ-ramen ett hierarkiskt tillvägagångssätt för fleragentstärkande lärande.
Hierarchical multi-agent reinforcement learning
{'venue': 'Autonomous Agents and Multi-Agent Systems', 'journal': 'Autonomous Agents and Multi-Agent Systems', 'mag_field_of_study': ['Computer Science']}