Abstrakt. I detta dokument presenteras en detaljerad studie av genomsnittlig belöning förstärkning lärande, en odiscounted optimality ram som är mer lämplig för cykliska uppgifter än den mycket bättre studerade rabatterade ramverk. Ett brett spektrum av genomsnittliga belöningsalgoritmer beskrivs, allt från synkrona dynamiska programmeringsmetoder till flera (bevisligen konvergerande) asynkrona algoritmer från optimal kontroll och lärande automata. En allmän känslig rabatt optimalitet metrisk kallas n-discount-optimalitet införs, och används för att jämföra de olika algoritmerna. I översikten identifieras en viktig likhet mellan flera asynkrona algoritmer som är avgörande för deras konvergens, nämligen oberoende uppskattning av den genomsnittliga belöningen och de relativa värdena. Översikten avslöjar också en överraskande begränsning som delas av de olika algoritmerna: medan flera algoritmer kan tydligt generera vinstoptimala strategier som maximerar den genomsnittliga belöningen, kan ingen av dem tillförlitligt filtrera dessa för att producera partisk-optimala (eller T-optimala) strategier som också maximerar den finita belöningen för att absorbera måltillstånd. Denna uppsats presenterar också en detaljerad empirisk studie av R-learning, en genomsnittlig belöning förstärkning inlärningsmetod, med hjälp av två empiriska testbäddar: en stokastisk rutnät världen domän och en simulerad robot miljö. En detaljerad känslighetsanalys av R-learning genomförs för att testa dess beroende av inlärningsfrekvens och undersökningsnivåer. Resultaten tyder på att R-learning är ganska känslig för prospekteringsstrategier, och kan falla in i suboptimala gränscykler. R-learning jämförs också med Q-learning, den bäst studerade diskonterade RL-metoden. Här tyder resultaten på att R-learning kan finjusteras för att ge bättre resultat än Q-learning inom båda områdena.
R-lärande REF som maximerar den genomsnittliga belöningen kan betraktas som en lösning, men det garanterar inte att konvergera till optimalitet.
Average reward reinforcement learning: Foundations, algorithms, and empirical results
{'venue': 'Machine Learning', 'journal': 'Machine Learning', 'mag_field_of_study': ['Computer Science']}