Sammanfattning I detta papper generaliserar vi den välkända Nesterov's accelererade gradient (AG) metod, ursprungligen utformad för konvex smidig optimering, för att lösa icke konvexa och möjligen stokastiska optimeringsproblem. Vi visar att genom att korrekt specificera stegvis politik, AG-metoden uppvisar den mest kända graden av konvergens för att lösa allmänna icke konvexa smidiga optimeringsproblem genom att använda första ordningen information, på samma sätt som lutning nedstigningsmetoden. Vi betraktar då en viktig klass av sammansatta optimeringsproblem och visar att AG-metoden kan lösa dem på ett enhetligt sätt, dvs. genom att använda samma aggressiva stegpolitik som i konvexa fall, även om problemet visar sig vara nonconvex. Vi visar att AG-metoden uppvisar en optimal konvergensgrad om det sammansatta problemet är konvext och förbättrar den mest kända konvergensgraden om problemet inte är konvext. Baserat på AG-metoden presenterar vi också nya icke-konvexa stokastiska approximeringsmetoder och visar att de kan förbättra några befintliga konvergensgrader för icke-konvex stokastisk optimering. Såvitt vi vet är detta första gången som konvergensen av AG-metoden har etablerats för att lösa icke konvex icke-linjär programmering i litteraturen.
I REF utvecklades en modifierad Nesterov accelererad lutning nedstigningsmetod som åtnjuter samma konvergensgarantier som lutning nedstigning på icke konvexa optimeringsproblem, och bibehåller den optimala första orderkonvergensen på konvexa problem.
Accelerated Gradient Methods for Nonconvex Nonlinear and Stochastic Programming
{'venue': None, 'journal': 'arXiv: Optimization and Control', 'mag_field_of_study': ['Mathematics', 'Computer Science']}