Detta dokument studerar riktade prospektering för att förstärka inlärningsagenter genom att spåra osäkerhet om värdet av varje tillgänglig åtgärd. Vi identifierar två osäkerhetskällor som är relevanta för prospektering. Den första har sitt ursprung i begränsade data (parametrisk osäkerhet), medan den andra har sitt ursprung i fördelningen av avkastningen (osäkerhet om avkastning). Vi identifierar metoder för att lära sig dessa distributioner med djupa neurala nätverk, där vi uppskattar parametrisk osäkerhet med Bayesian drop-out, medan returosäkerheten sprids genom Bellman ekvationen som en Gaussian distribution. Sedan identifierar vi att båda kan beräknas gemensamt i ett nätverk, som vi kallar Double Unsafey Value Network. Policyn är direkt härledd från de inlärda distributionerna baserade på Thompson-provtagning. Experimentella resultat visar att båda typerna av osäkerhet avsevärt kan förbättra inlärningen inom områden med en stark prospekteringsutmaning.
Nyligen kombinerade REF de två osäkerheterna via Double Unsafey Value Network och visade prestandaförbättringar på enkla områden.
Efficient exploration with Double Uncertain Value Networks
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Mathematics', 'Computer Science']}