Prospektering är en grundläggande utmaning när det gäller att stärka lärandet. Många av de nuvarande prospekteringsmetoderna för djup RL använder aktivitetsagnostiska mål, t.ex. informationsvinster eller bonusar baserade på statsbesök. Många praktiska tillämpningar av RL innebär dock att lära sig mer än en enda uppgift, och tidigare uppgifter kan användas för att informera om hur prospektering bör utföras i nya uppgifter. I detta arbete undersöker vi hur tidigare uppgifter kan informera en agent om hur man kan utforska effektivt i nya situationer. Vi introducerar en ny gradientbaserad snabbanpassningsalgoritm - modell agnostisk prospektering med strukturerat buller (MAESN) - för att lära sig utforska strategier från tidigare erfarenhet. Tidigare erfarenheter används både för att initiera en politik och för att förvärva en latent prospekteringsutrymme som kan injicera strukturerad stokasticitet i en politik, producerar prospekteringsstrategier som är informerade av förkunskaper och är mer effektiva än slumpmässiga åtgärder-rymdbuller. Vi visar att MAESN är effektivare på att lära prospekteringsstrategier jämfört med tidigare meta-RL-metoder, RL utan inlärda prospekteringsstrategier och uppgiftsagnostiska prospekteringsmetoder. Vi utvärderar vår metod på en mängd olika simulerade uppgifter: locomotion med en hjuldriven robot, locomotion med en fyrhjulig gångare, och objektmanipulering.
REF introducerade en algoritm som kunde lära sig uppgiftsspecifika prospekteringsstrategier med hjälp av tidigare erfarenhet baserad på MAML, jämfört med lärande prospekteringsstrategi för olika miljöer, vi är mer intressanta i lära prospektering strategi som förbättrar effektivitet under lärande.
Meta-Reinforcement Learning of Structured Exploration Strategies
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Computer Science', 'Mathematics']}