Abstrakt. En viktig tillämpning av förstärkande lärande (RL) är till finita-state kontroll problem och ett av de svåraste problemen i lärande för kontroll balanserar utforskning/exploatering kompromissen. Befintliga teoretiska resultat för RL ger mycket lite vägledning om rimliga sätt att utföra prospektering. I detta dokument undersöker vi konvergensen mellan RL-algoritmer för kontroll i ett steg på policynivå. De politiska algoritmerna kan inte skilja prospektering från lärande och måste därför ta itu med prospekteringsproblemet direkt. Vi bevisar konvergensresultat för flera relaterade policyalgoritmer med både sönderfallande prospektering och ihållande prospektering. Vi ger också exempel på prospekteringsstrategier som kan följas under lärande som resulterar i konvergens till både optimala värden och optimal politik.
I REF studerades konvergensen av den politiska algoritmen Sarsa.
Convergence Results for Single-Step On-Policy Reinforcement-Learning Algorithms
{'venue': 'Machine Learning', 'journal': 'Machine Learning', 'mag_field_of_study': ['Computer Science']}