Optimering av icke-konvexa funktioner är av primär betydelse i de allra flesta av maskininlärningsalgoritmer. Även om många gradientnedstigningsbaserade algoritmer har studerats, har på varandra följande konvex approximation baserade algoritmer nyligen empiriskt visat sig konvergera snabbare. Sådana konvexa approximationsbaserade algoritmer kan dock fastna i en första ordningen stationär punkt. För att undvika detta föreslår vi en algoritm som stör optimeringsvariabeln något vid lämplig iteration. Förutom att uppnå samma konvergensresultat som den icke-perturbed version, visar vi att den föreslagna algoritmen konvergerar till en andra ordning stationär punkt. Således den föreslagna algoritmen undgår sadeln punkt effektivt och inte fastnar vid den första ordern sadeln punkter.
Perturbation i varje iteration av SCA har visat sig uppnå andra ordningen stationär punkt i REF.
Escaping Saddle Points with the Successive Convex Approximation Algorithm
{'venue': None, 'journal': 'arXiv: Optimization and Control', 'mag_field_of_study': ['Mathematics']}