Vi föreslår en stokastisk varians-reducerad kubisk regulariserad Newton metod för icke-konvex optimering. Kärnan i vår algoritm är en ny semi-stokastisk lutning tillsammans med en semi-stokastisk hessian, som är särskilt utformade för kubikreglering metod. Vi visar att vår algoritm är garanterad att konvergera till en (, ε ) - ungefärligt lokalt minimum inom O(n 4/5 / 3/2 ) andra ordningen orakle samtal, som överträffar den toppmoderna kubik legalisering algoritmer inklusive sub sampled kubik legalisering. Vårt arbete kastar också ljus över tillämpningen av variansreduktionsteknik på avancerade icke-konvexa optimeringsmetoder. Omfattande experiment på olika icke-konvexa optimeringsproblem stödjer vår teori.
Nyligen föreslogs stokastisk varians reducerad kubisk regulariseringsmetod (SVRC) REF, som uppnår den mest kända andra ordningen orakel komplexitet bland befintliga kubisk regulariseringsmetoder.
Stochastic Variance-Reduced Cubic Regularized Newton Method
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Computer Science', 'Mathematics']}