Vi föreslår en ny begränsad-minne stokastisk block BFGS uppdatering för att införliva berikad krökning information i stokastisk approximation metoder. I vår metod uppdateras uppskattningen av den inversa hessianska matrisen som upprätthålls av den vid varje iteration med hjälp av en skiss av hessianen, d.v.s. en slumpmässigt genererad komprimerad form av hessianen. Vi föreslår flera skissningsstrategier, presentera en ny kvasi-Newton metod som använder stokastiska block BFGS uppdateringar i kombination med varians minskning strategi SVRG för att beräkna batch stokastiska gradienter, och bevisa linjär konvergens av den resulterande metoden. Numeriska tester på storskaliga logistiska regressionsproblem visar att vår metod är mer robust och väsentligt överträffar nuvarande state-of-the-art metoder.
I REF, Gower et al. föreslå en stokastisk block L-BFGS-metod som innehåller berikad krökningsinformation.
Stochastic Block BFGS: Squeezing More Curvature out of Data
{'venue': 'ICML', 'journal': None, 'mag_field_of_study': ['Computer Science', 'Mathematics']}