Abstrakt. Det visas här att stabiliteten i den stokastiska approximationsalgoritmen är underförstådd av den asymptotiska stabiliteten av ursprunget för en associerad ODE. Detta innebär i sin tur konvergens av algoritmen. Flera specifika klasser av algoritmer betraktas som tillämpningar. Det har konstaterats att resultaten ger (i) en enklare härledning av kända resultat för förstärkning av lärande algoritmer; (ii) ett bevis för första gången att en klass av asynkrona stokastiska approximationsalgoritmer konvergerar utan att använda något föregående antagande om stabilitet; (iii) ett bevis för första gången att asynkron adaptiv kritiker och Q-learning algoritmer konvergerar för den genomsnittliga kostnaden optimal kontroll problem.
Metoden har också använts för analys av enkelagent förstärkning lärande algoritmer REF.
The o.d.e. method for convergence of stochastic approximation and reinforcement learning
{'venue': 'SIAM J. CONTROL OPTIM', 'journal': None, 'mag_field_of_study': ['Mathematics', 'Computer Science']}