Djup förstärkning inlärning (RL) metoder i allmänhet engagerar sig i undersökande beteende genom buller injicering i åtgärdsutrymmet. Ett alternativ är att lägga till buller direkt till agentens parametrar, vilket kan leda till mer konsekvent utforskning och en rikare uppsättning beteenden. Metoder såsom evolutionära strategier använder parameter perturbationer, men kasta all tidsstruktur i processen och kräver betydligt fler prover. Genom att kombinera parameterbuller med traditionella RL-metoder kan man kombinera det bästa av båda världarna. Vi visar att både off- and on-policy metoder drar nytta av detta tillvägagångssätt genom experimentell jämförelse av DQN, DDPG och TRPO på högdimensionella diskreta handlingsmiljöer samt kontinuerliga kontrolluppgifter. Våra resultat visar att RL med parameterbuller lär sig mer effektivt än traditionell RL med actionrymdsbuller och evolutionära strategier individuellt. Prospektering är fortfarande en viktig utmaning i det nutida fördjupade lärandet (RL). Dess huvudsakliga syfte är att säkerställa att agentens beteende inte konvergerar i förtid till en lokal optimal. Att möjliggöra en effektiv och effektiv undersökning är dock inte trivialt eftersom den inte styrs av belöningsfunktionen i den underliggande Markov-beslutsprocessen (MDP). Även om en uppsjö av metoder har föreslagits för att ta itu med denna utmaning i högdimensionella och/eller kontinuerliga MDP, förlitar de sig ofta på komplexa ytterligare strukturer såsom räkna tabeller [1], densitet modellering av tillståndet utrymme [2], inlärda dynamiska modeller [3-5], eller självövervakad nyfikenhet [6]. Ett ortogonalt sätt att öka den undersökande karaktären hos dessa algoritmer är genom tillägg av temporalt korrelerat buller, till exempel som görs i bootstrappad DQN [7]. Utmed samma linjer visades det att tillägg av parameterbuller leder till bättre utforskning genom att erhålla en politik som uppvisar en större variation av beteenden [8, 9]. Vi diskuterar dessa relaterade tillvägagångssätt mer i detalj i avsnitt 5. Deras huvudsakliga begränsning är dock att de antingen endast föreslås och utvärderas för den policymässiga inställningen med relativt små och grunda funktion approximatorer [10] eller bortser från all information om tidsstrukturen och lutningen [9, 11, 12]. I detta dokument undersöks hur parameterrumsbuller effektivt kan kombineras med djup RL-algoritmer som DQN [13], DDPG [14] och TRPO [15] för att förbättra deras undersökande beteende. Experiment visar att denna form av prospektering är tillämplig på både högdimensionella diskreta miljöer och kontinuerliga kontrolluppgifter, med hjälp av on- and off-policy metoder. Våra resultat indikerar att parameterbuller överträffar traditionella insatsrumsbullerbaserade basvärden, särskilt i uppdrag där belöningssignalen är extremt gles. Detta visar att det finns en bördig medelväg mellan evolutionära metoder som kastar tidsstruktur, och metoder som helt och hållet är beroende av ostrukturerad bullerinsprutning.
Nyligen, Plappert et al. REF har föreslagit att man lägger till buller till agentens parametrar för en mer konsekvent undersökning.
Parameter Space Noise for Exploration
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Computer Science', 'Mathematics']}