Vi studerar ändliga-summan icke konvexa optimeringsproblem, där den objektiva funktionen är ett genomsnitt av n nonconvex funktioner. Vi föreslår en ny stokastisk lutning nedstigning algoritm baserad på häckade varians minskning. Jämfört med konventionell stokastisk varians reducerad gradient (SVRG) algoritm som använder två referenspunkter för att konstruera en semi-stokastisk gradient med minskande varians i varje iteration, använder vår algoritm K + 1 inbäddade referenspunkter för att bygga en semi-stokastisk gradient för att ytterligare minska sin varians i varje iteration. För smidiga icke konvexa funktioner konvergerar den föreslagna algoritmen till en -ungefärlig första ordningen stationär punkt (dvs.
Mycket nyligen, REF föreslog en stochastic bonad varians reducerad gradient (SNVRG) algoritm, som förbättrar ovannämnda varians reduktionsmetoder genom att använda flera referenspunkter och gradienter i uppdateringen.
Stochastic Nested Variance Reduction for Nonconvex Optimization
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Computer Science', 'Mathematics']}