Vi studerar icke konvexa finita-sum problem och analysera stokastiska varians reducerade gradient (Svrg) metoder för dem. Svrg och relaterade metoder har nyligen ökat i betydelse för konvex optimering med tanke på deras kant över stokastisk lutning nedstigning (Sgd); men deras teoretiska analys nästan uteslutande förutsätter konvexitet. I kontrast, Vi bevisar icke-asymptotic klassar av konvergens (till stationära punkter) av Svrg för nonconvex optimering, och visar att det är bevisbart snabbare än Sgd och lutning nedstigning. Vi analyserar också en underklass av icke konvexa problem där Svrg uppnår linjär konvergens till det globala optimala. Vi utökar vår analys till mini-batch varianter av Svrg, visar (teoretiska) linjär upphastighet på grund av mini-batching i parallella inställningar.
För allmänna nonconvex ändlig-sum optimering problem, REF ; Allen-Zhu och Hazan (2016) föreslagna stokastisk varians reducerad lutning nedstigning algoritmer, som garanteras att konvergera till stationär punkt med en sublinjär hastighet.
Stochastic Variance Reduction for Nonconvex Optimization
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Computer Science', 'Mathematics']}