Vi föreslår en ny stokastisk L-BFGS-algoritm och visar en linjär konvergenshastighet för starkt konvexa och smidiga funktioner. Vår algoritm drar kraftigt från en nyligen stokastisk variant av L-BFGS föreslås i Byrd et al. (2014) samt ett nyligen tillvägagångssätt för variansreduktion för stokastisk lutning nedstigning från Johnson och Zhang (2013). Vi demonstrerar experimentellt att vår algoritm presterar bra på storskaliga konvexa och icke-konvexa optimeringsproblem, uppvisar linjär konvergens och snabbt löser optimeringsproblemen till höga precisionsnivåer. Dessutom visar vi att vår algoritm presterar bra för ett brett utbud av stegstorlekar, ofta olika av flera storleksordningar.
En linjärt konvergent stokastisk L-BFGS-metod med variansreduktion diskuteras i REF.
A Linearly-Convergent Stochastic L-BFGS Algorithm
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Computer Science', 'Mathematics']}