Skalbar och effektiv undersökning är fortfarande en viktig utmaning när det gäller att stärka lärandet. Även om det finns metoder med optimalitetsgarantier i inställningen av diskreta tillstånds- och åtgärdsutrymmen, kan dessa metoder inte tillämpas i högdimensionella djupa RL-scenarier. Som sådan, de flesta samtida RL förlitar sig på enkla heuristik såsom -grå utforskning eller lägga Gaussian buller till kontrollerna. I detta dokument introduceras Variarational Information Maximing Exploration (VIME), en prospekteringsstrategi baserad på maximering av informationsvinst om agentens tro på miljödynamik. Vi föreslår ett praktiskt genomförande, med hjälp av variationell slutledning i Bayesian neurala nätverk som effektivt hanterar kontinuerliga tillstånd och åtgärder utrymmen. VIME ändrar MDP-belöningsfunktionen och kan tillämpas med flera olika underliggande RL-algoritmer. Vi visar att VIME uppnår betydligt bättre prestanda jämfört med heuristiska prospekteringsmetoder över en mängd kontinuerliga kontrolluppgifter och algoritmer, inklusive uppgifter med mycket glesa belöningar.
REF, å andra sidan, införde en prospekteringsstrategi baserad på maximering av informationsvinst om agentens tro på miljödynamiken.
Variational Information Maximizing Exploration