Många uppgifter i AI kräver samarbete med flera agenter. Vanligtvis är kommunikationsprotokollet mellan agenter manuellt specificerat och inte ändrat under utbildningen. I detta papper utforskar vi en enkel neural modell, kallad CommNN, som använder kontinuerlig kommunikation för fullt samarbete uppgifter. Modellen består av flera agenter och kommunikationen mellan dem är inlärd vid sidan av deras policy. Vi tillämpar denna modell på en mängd olika uppgifter, som visar agenternas förmåga att lära sig kommunicera sinsemellan, vilket ger bättre prestanda jämfört med icke-kommunikativa medel och baslinjer. I vissa fall är det möjligt att tolka det språk som uppfunnits av agenterna och avslöja enkla men effektiva strategier för att lösa den aktuella uppgiften. Vi överväger den miljö där vi har J agenter, alla samarbetar för att maximera belöning R i någon miljö. Vi gör det förenklade antagandet om fullständigt samarbete som varje agent tar emot R, oberoende av deras bidrag. I denna inställning finns det ingen skillnad mellan att varje agent har sin egen controller, eller att se dem som bitar av en större modell som styr alla agenter. Med det senare perspektivet, vår controller är ett stort feed-forward neural nätverk som kartlägger ingångar för alla agenter till deras handlingar, varje agent som ockuperar en delmängd av enheter. En specifik konnektivitetsstruktur mellan skikten arXiv:1605.07736v1 [cs.LG] 25 maj 2016 (a) direktierar radiokommunikationskanalen mellan agenter och (b) propagerar för agentstaten. Eftersom agenterna kommer att få belöning, men inte nödvändigtvis tillsyn för varje åtgärd, förstärks lärande används för att maximera förväntad framtida belöning. Vi utforskar två former av kommunikation inom styrenheten: (i) diskret och (ii) kontinuerlig. I det förra fallet är kommunikation en åtgärd, och kan naturligtvis hanteras genom att stärka lärandet. I det kontinuerliga fallet, signalerna som passerar mellan agenter är inte annorlunda än dolda tillstånd i ett neuralt nätverk; således kredittilldelning för kommunikationen kan utföras med hjälp av standard backpropagation (inom den yttre RL-slingan). Vi använder policygradient [36] med en tillståndsspecifik baslinje för att leverera en gradient till modellen. Betrakta tillstånden i en episod av s(1),..., s(T ), och de åtgärder som vidtas vid var och en av dessa tillstånd som a.1,..., a(T ), där T är längden av episoden. Baslinje är en skalär funktion av staterna b (s,  på), som beräknas via ett extra huvud på den modell som producerar åtgärden sannolikheter. Förutom att maximera den förväntade belöningen med policygradient tränas modellerna också för att minimera avståndet mellan utgångsvärdet och den faktiska belöningen. Efter att ha avslutat ett avsnitt uppdaterar vi alltså modellparametrarna  och 1) Här är r(t) belöningen given vid tidpunkten t, och hyperparametern α är för att balansera belöningen och baslinjemålen, som satt till 0. Abstract abstract troduction arbete gör vi två bidrag. För det första förenklar och utvidgar vi grafens neurala nätverk av??. För det andra visar vi hur denna arkitektur kan användas för att kontrollera grupper av samarbetande odel plest form av modellen består av flerskikts neurala nätverk f i som tar som ingång vektorer c i och utdata en vektor h i+1. Modellen tar som ingång en uppsättning vektorer {h 0 1, h 0 2,..., h 0 Abstrakt ct ction e göra två bidrag. Först, vi förenklar och utvidga grafen neurala nätverket??. För det andra visar vi hur denna arkitektur kan användas för att kontrollera grupper av samarbetande 42 lärande används för att maximera förväntad framtida belöning. Vi utforskar två former av kommunikation inom 43 regulatorn: (i) diskret och (ii) kontinuerlig. I det förra fallet är kommunikation en åtgärd, och 44 kommer att behandlas som sådana genom det förstärkande lärandet. I det kontinuerliga fallet, signalerna passerade 45 mellan agenter är inte annorlunda än dolda tillstånd i ett neuralt nätverk; således kredittilldelning för 46 kommunikation kan utföras med hjälp av standard backpropagation (inom den yttre RL-slingan). Vi använder policygradient [33] med en tillståndsspecifik baslinje för att leverera en gradient till modellen. Betrakta tillstånden i en episod av s(1),..., s(T ), och de åtgärder som vidtas vid var och en av dessa tillstånd 49 som a.1,..., a(T ), där T är längden av episoden. Baslinje är en skalarfunktion hos de 50 tillstånden b(s,  till), som beräknas via ett extra huvud på den modell som producerar åtgärdsannolikheterna. Förutom 51 maximering av den förväntade belöningen med policygradient tränas modellerna också för att minimera 52 avståndet mellan utgångsvärdet och den faktiska belöningen. Således, efter att ha avslutat en episod, uppdaterar vi 53 modellparametrarna  med Här r(t) är belöning ges vid tidpunkten t, och hyperparametern är för att balansera belöningen och 55 baslinjemål, satt till 0,03 i alla experiment. 3 Modell Vi beskriver nu den modell som används för att beräkna p(a(t) på en given tid t (som anger tiden 58 index för korthet). Låt j vara jth agentens syn på miljöns tillstånd. Inmatningen till den 59 styrenheten är konkatering av alla tillståndsvyer s = {s 1,..., s J }, och styrenheten är en kartläggning 60 a = (s), där utdata a är en konkatering av diskreta åtgärder a = {a 1,..., en J } för varje agent. Observera att denna enda regulator omfattar de enskilda regulatorerna för varje agent, samt 62 kommunikationen mellan agenter. Ett självklart val för är en fullt ansluten flerlagers neurala nätverk, som kan extrahera 64 funktioner h från s och använda dem för att förutsäga bra åtgärder med vårt RL-ramverk. Denna modell skulle vara 65
CommNet REF lär sig kontinuerlig multiagentisk kommunikation för kooperativa uppgifter i en end-to-end övervakad och förstärkt inlärningsmiljö.
Learning Multiagent Communication with Backpropagation
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Computer Science', 'Mathematics']}