Den hessiska Vector produkten har använts för att hitta en andra ordningen stationär lösning med stark komplexitet garanti (t.ex., nästan linjär tid komplexitet i problemets dimensionalitet). I detta dokument föreslår vi att ytterligare minska antalet hessiska-vektor produkter för snabbare icke-konvex optimering. Tidigare arbeten måste approximera det minsta eigen-värdet med tillräcklig precision (t.ex. 2 f (x) 1) för att uppnå en tillräckligt exakt stationär lösning i andra ordningen (t.ex. λ min (t.ex. 2 f (x)) ≥ − på 2 ). Däremot behöver de föreslagna algoritmerna bara beräkna den minsta egon-vektorn som tillnärmar motsvarande eigen-värde upp till en liten effekt av strömgradientens norm. Som ett resultat kan det dramatiskt minska antalet hessiska-vektor produkter under loppet av optimering innan man når första ordningen stationära punkter (t.ex., sadelpunkter). Den viktigaste byggstenen i de föreslagna algoritmerna är en ny uppdatering steg kallas NCG steg, som låter en bullrig negativ krökning nedstigning konkurrera med lutning nedstigning. Vi visar att i värsta fall de föreslagna algoritmerna med sina gynnsamma föreskrivna noggrannhetskrav kan matcha den bästa tids komplexiteten i litteraturen för att uppnå en andra ordningen stationär punkt men med en utan tvekan mindre per-iteration kostnad. Vi visar också att de föreslagna algoritmerna kan dra nytta av inexakt hessian (t.ex. den delprovtagna hessian för ett finit-sum problem) genom att utveckla sina varianter som accepterar inexakt hessian under ett milt villkor för att uppnå samma mål. Dessutom utvecklar vi en stokastisk algoritm för en ändlig eller oändlig summa icke-konvex optimering problem, som endast innebär att beräkna en sub-provgradient och en bullrig negativ krökning av en sub-provtagen hessian vid varje iteration. Såvitt vi vet är den föreslagna stokastiska algoritmen den första, som konvergerar till en andra ordningens stationär punkt med hög sannolikhet med en tids komplexitet oberoende av provstorleken och nästan linjär i problemets dimensionalitet.
Lutningen nedstigning har också införlivats med den negativa krökning nedstigning i ; REF ; för att konvergera till den andra ordningen stationära punkter.
On Noisy Negative Curvature Descent: Competing with Gradient Descent for Faster Non-convex Optimization
{'venue': None, 'journal': 'arXiv: Optimization and Control', 'mag_field_of_study': ['Mathematics']}