Stochastic approximation (SA) är en viktig metod som används i statistisk inlärning. På senare tid har dess icke-asymptotiska konvergensanalys beaktats i många dokument. De flesta av de tidigare analyserna görs dock under restriktiva antaganden såsom opartiska gradientuppskattningar och konvex objektiv funktion, som avsevärt begränsar deras tillämpningar till sofistikerade uppgifter som online och förstärka lärande. Dessa begränsningar är i grund och botten lättade i detta arbete. I synnerhet analyserar vi en allmän SA-plan för att minimera en icke-konvex, smidig objektiv funktion. Vi anser uppdatering förfarande vars drift termen beror på en tillståndsberoende Markov kedja och det genomsnittliga fältet är inte nödvändigtvis av gradient typ, täcker ungefärlig andra ordningen metod och tillåter asymptotiska fördomar för ett steg uppdateringar. Vi illustrerar dessa inställningar med online-EM algoritm och policy-gradient metod för genomsnittlig belöning maximering i förstärkning lärande.
Karimi m.fl. I REF studerades allmänna, partiska, stokastiska approximeringsförfaranden, särskilt för att visa konvergens mellan EM online och policygradientmetoder.
Non-asymptotic Analysis of Biased Stochastic Approximation Scheme
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Mathematics', 'Computer Science']}