Vi anser att det grundläggande problemet med icke-konvex optimering är att effektivt nå en stationär punkt. I motsats till konvexa fall, i den långa historia av detta grundläggande problem, de enda kända teoretiska resultat på första ordningen icke-konvex optimering återstår att vara full lutning nedstigning som konvergerar i O(1/ε) iterationer för släta mål, och stokastisk lutning nedstigning som konvergerar i O(1/ε 2 ) iterationer för mål som är summan av släta funktioner. Vi ger den första förbättringen inom detta forskningsområde. Vårt resultat är baserat på variansreduktion trick nyligen införts för konvex optimering, samt en helt ny analys av variansreduktion som är lämplig för icke-konvex optimering. För mål som är summan av smidiga funktioner, vår första ordningen minibatch stochastic metod konvergerar med en O(1/ε) hastighet, och är snabbare än full lutning nedstigning genom  på 1/3 ). Vi demonstrerar effektiviteten av våra metoder på empiriska riskminimeringar med icke konvexa förlustfunktioner och träning neurala nät. [MAT.OC] : 1603.05643v1 [MAT.OC]
Den första tillämpningen av variansreducerande metod på icke-konvex SGD beror på Allen-Zhu och Hazan REF.
Variance Reduction for Faster Non-Convex Optimization
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Computer Science', 'Mathematics']}