Skalbar och effektiv undersökning är fortfarande en viktig utmaning när det gäller att stärka lärandet. Även om det finns metoder med optimalitetsgarantier i inställningen av diskreta tillstånds- och åtgärdsutrymmen, kan dessa metoder inte tillämpas i högdimensionella djupa RL-scenarier. Som sådan, de flesta samtida RL förlitar sig på enkla heuristik såsom -grå utforskning eller lägga Gaussian buller till kontrollerna. I detta dokument introduceras Variarational Information Maximing Exploration (VIME), en prospekteringsstrategi baserad på maximering av informationsvinst om agentens tro på miljödynamik. Vi föreslår ett praktiskt genomförande, med hjälp av variationell slutledning i Bayesian neurala nätverk som effektivt hanterar kontinuerliga tillstånd och åtgärder utrymmen. VIME ändrar MDP-belöningsfunktionen och kan tillämpas med flera olika underliggande RL-algoritmer. Vi visar att VIME uppnår betydligt bättre prestanda jämfört med heuristiska prospekteringsmetoder över en mängd kontinuerliga kontrolluppgifter och algoritmer, inklusive uppgifter med mycket glesa belöningar.
För att exempelvis uppmuntra prospektering använder VIME REF olika slutsatser för att få fram ett inneboende belöningsmål som maximerar informationsvinsten om miljödynamiken.
Variational Information Maximizing Exploration