En grundläggande fråga när det gäller att förstärka inlärningen är om modellfria algoritmer är proveffektiva. Nyligen, Jin et al. [6] föreslog en Q-learning-algoritm med UCB-prospekteringspolitik, och visade att den har nästan optimalt beklagande bundet till ändlig-horisontell episodisk MDP. I detta dokument anpassar vi Q-learning med UCB-exploration bonus till oändlig-horisont MDP med rabatterade belöningar utan att få tillgång till en generativ modell. Vi visar att urvalet komplexitet undersökning av vår algoritm begränsas av Õ(. Detta förbättrar det tidigare mest kända resultatet av O( SA 4 (1−γ) 8 ) i denna miljö uppnås genom fördröjd Q-learning [13], och matchar den nedre gränsen i termer av såväl som S och A med undantag för logaritmiska faktorer.
REF gav ett liknande bevis för oändliga horisonter med urvalskomplexitet som står i proportion till antalet stater och åtgärder.
Q-learning with UCB Exploration is Sample Efficient for Infinite-Horizon MDP
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Computer Science', 'Mathematics']}