Vi utvecklar en klass av algoritmer, som varianter av de stokastiskt kontrollerade stokastiska gradient (SCSG) metoder [19], för den släta icke-konvexa finitsum optimering problem. Förutsatt att varje komponents jämnhet, komplexiteten hos SCSG att nå en stationär punkt med E  på f (x) 2 ≤ är O min { −5/3, −1 n 2/3 }, som strikt överträffar den stokastiska lutningen nedstigning. Dessutom är SCSG aldrig sämre än toppmoderna metoder baserade på variansreduktion och det betydligt överträffar dem när målnoggrannheten är låg. En liknande acceleration uppnås också när funktionerna uppfyller villkoret Polyak-Lojasiewicz. Empiriska experiment visar att SCSG överträffar stokastiska gradientmetoder på träning flera lager neurala nätverk i termer av både utbildning och validering förlust.
REF föreslog en ny variansreduktionsalgoritm, dvs. stokastiskt kontrollerad stokastisk gradient (SCSG) algoritm, som finner en första ordningens stationär punkt inom O(min{ −10/3, n 2/3 −2 }) stokastisk gradientutvärdering för finit-sum optimering i (1.3), och överträffar SVRG när antalet komponentfunktioner n är stort.
Nonconvex Finite-Sum Optimization Via SCSG Methods
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Computer Science', 'Mathematics']}