Detta papper handlar om en naturlig stokastisk optimering förfarande som härrör från den så kallade Heavy-ball metod differentialekvation, som infördes av Polyak på 1960-talet med hans seminala bidrag [Pol64]. Heavy-ball metoden är en andra ordningen dynamik som undersöktes för att minimera konvexa funktioner f. Familjen av andra ordningen metoder nyligen fått en stor mängd uppmärksamhet, fram till det berömda bidraget av Nesterov [Nes83], vilket leder till explosionen av storskaliga optimeringsproblem. Detta arbete ger en djupgående beskrivning av den stokastiska tungbollsmetoden, som är en anpassning av den deterministiska metoden när endast opartiska utvärderingar av lutningen finns tillgängliga och används under hela iterationer av algoritmen. Vi beskriver först några nästan säker konvergens resultat i fallet med allmänna icke-konvexa tvångsfunktioner f. Vi undersöker sedan situationen för konvexa och starkt konvexa potentialer och härleda några icke-asymptotiska resultat om den stokastiska tungbollsmetoden. Vi avslutar vår studie med att begränsa teorem på flera omskalade algoritmer.
I REF har författarna studerat de nästan säkra konvergensresultaten av den stokastiska tungbollsmetoden med icke-konvexa tvångsförlustfunktioner och tillhandahållit en komplexitetsanalys för fallet med fyrhjuling starkt konvex.
Stochastic Heavy Ball
{'venue': None, 'journal': 'arXiv: Statistics Theory', 'mag_field_of_study': ['Mathematics']}