Vi anser att problemet med utforskning/exploatering är att stärka inlärningen. För utnyttjande är det välkänt att Bellman-ekvationen kopplar värdet när som helst till det förväntade värdet vid efterföljande steg. I detta dokument överväger vi en liknande osäkerhet Bellman ekvation (UBE), som kopplar osäkerheten vid varje tidpunkt-steg till den förväntade osäkerheten vid efterföljande tidssteg, vilket utökar den potentiella undersökande nyttan av en politik utöver enskilda tidssteg. Vi bevisar att den unika fasta punkten i UBE ger en övre gräns på variansen av det uppskattade värdet av någon fast politik. Denna gräns kan vara mycket hårdare än traditionella räkna-baserade bonusar som sammansatt standardavvikelse snarare än varians. Viktigt, och till skillnad från flera befintliga tillvägagångssätt för optimism, skalar denna metod naturligt till stora system med komplex generalisering. Genom att ersätta vår UBE-exploration strategi för -greedy förbättrar DQN prestanda på 51 av 57 spel i Atari-sviten.
En alternativ metod är SARSA med en osäkerhet Bellman ekvation (UBE) REF.
The Uncertainty Bellman Equation and Exploration
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Computer Science', 'Mathematics']}