Abstrakt. I detta papper studerar vi stokastiska kvasi-Newton metoder för icke konvex stokastisk optimering, där vi antar att endast stokastisk information om lutningarna av den objektiva funktionen finns tillgänglig via en stokastisk första ordningen orakel (SF O). För det första föreslår vi en allmän ram av stokastiska kvasi-Newton metoder för att lösa icke konvex stokastisk optimering. Det föreslagna ramverket utvidgar de klassiska kvasi-Newton-metoderna som arbetar i deterministiska miljöer till stokastiska miljöer, och vi bevisar att det nästan säkert överensstämmer med stationära punkter. För det andra föreslår vi en allmän ram för en klass av randomiserade stokastiska kvasi-Newton-metoder, där antalet iterationer som utförs av algoritmen är en slumpmässig variabel. De värsta fall SF O-kallar komplexiteter i denna klass av metoder analyseras. För det tredje lägger vi fram två specifika metoder som faller inom denna ram, nämligen stokastisk dämpad BFGS-metod och stokastisk cyklisk Barzilai-Borwein-metod. Slutligen rapporterar vi numeriska resultat för att visa hur effektiva de föreslagna metoderna är.
I REF föreslogs en allmän ram för stokastiska kvasi-Newton-metoder som antar bullriga gradientinformation genom första ordningens orakel (SFO) och utvidgade den till en stokastisk dämpning av L-BFGS-metoden (SdLBFGS).
Stochastic Quasi-Newton Methods for Nonconvex Stochastic Optimization
{'venue': None, 'journal': None, 'mag_field_of_study': ['Computer Science', 'Mathematics']}