När belöningar är glesa och handlingsytor stora, Q-learning med -grå utforskning kan vara ineffektiv. Detta skapar problem för i övrigt lovande tillämpningar såsom uppgiftsorienterade dialogsystem, där den primära belöningssignalen, som indikerar ett framgångsrikt slutförande av en uppgift, kräver en komplex sekvens av lämpliga åtgärder. Under dessa omständigheter kanske en slumpvis utforskande agent aldrig snubblar över ett lyckat resultat i rimlig tid. Vi presenterar två tekniker som avsevärt förbättrar effektiviteten i prospektering för djup Q-learning-agenter i dialogsystem. För det första introducerar vi en prospekteringsteknik baserad på Thompsonprovtagning, som tar Monte Carlo prover från ett Bayes-by-backprop neurala nätverk, vilket visar på en markant förbättring jämfört med vanliga metoder som -greedy och Boltzmann prospektering. För det andra visar vi att genom att spotta på reprisbufferten med erfarenheter från ett litet antal lyckade avsnitt, vilket är lätt att skörda för dialoguppgifter, kan Q-learning bli möjligt när det annars skulle kunna misslyckas.
I REF föreslogs ett Bayes-by-Backprop Q-nätverk som effektivt förbättrar effektiviteten i prospektering med Thompson-provtagning.
Efficient Exploration for Dialogue Policy Learning with BBQ Networks & Replay Buffer Spiking