Papperet studerar lösningen av stokastiska optimeringsproblem där approximationer till gradienten och Hessian erhålls genom subsampling. Vi överväger först Newton-liknande metoder som använder dessa approximationer och diskuterar hur man koordinerar noggrannheten i gradienten och Hessian för att ge en superlinjär konvergenshastighet i förväntan. Den andra delen av pappret analyserar en inexact Newton metod som löser linjära system ungefär med konjugerad gradient (CG) metod, och som tar prover på hessian och inte gradienten (gradienten antas vara exakt). Vi tillhandahåller en komplexitetsanalys för denna metod baserad på egenskaperna hos CG iteration och kvaliteten på den hessiska approximationen, och jämföra den med en metod som använder en stokastisk gradient iteration i stället för CG-metoden. Vi rapporterar preliminära numeriska resultat som illustrerar prestandan av inexakt subproved Newton metoder på maskininlärning applikationer baserat på logistisk regression.
En uppsättning villkor på lutningen och de hessiska provstorlekar som garanterar lokal R-superlinjär konvergens i förväntan under antagandet om variansen av felnormerna (Bounded moment of Iterates) ges i REF.
Exact and Inexact Subsampled Newton Methods for Optimization
{'venue': None, 'journal': 'arXiv: Optimization and Control', 'mag_field_of_study': ['Mathematics']}