Vi introducerar det aktiva prospekteringsproblemet i Markovs beslutsprocesser. Varje tillstånd av MDP kännetecknas av ett slumpmässigt värde och eleven bör samla prover för att uppskatta medelvärdet av varje tillstånd så exakt som möjligt. På samma sätt som aktiv undersökning i multi-armad bandit (MAB), stater kan ha olika nivåer av buller, så att ju högre buller, desto fler prover behövs. Eftersom bullernivån till att börja med inte är känd, måste vi handla bort utforskningen av miljön för att uppskatta bullret och utnyttjandet av dessa uppskattningar för att beräkna en politik som maximerar noggrannheten i de genomsnittliga prognoserna. Vi introducerar en ny inlärningsalgoritm för att lösa detta problem som visar att aktiv prospektering i MDP kan vara betydligt svårare än i MAB. Vi har också ett heuristiskt förfarande för att mildra den negativa effekten av att långsamt blanda politik. Slutligen validerar vi våra resultat på enkla numeriska simuleringar.
Vi nämner också att i en nyligen genomförd studie introducerar REF den så kallade aktiva prospekteringen i Markovs beslutsprocesser, där övergångskärnan är känd, och målet är snarare att lära sig den genomsnittliga belöningen i samband med olika stater.