Abstrakt. Vi undersöker beteendet hos accelererade gradient metoder i släta icke konvexa okonsekventa optimering, med fokus i synnerhet på deras beteende nära strikta sadel punkter. Accelererade metoder är iterativa metoder som normalt steg längs en riktning som är en linjär kombination av föregående steg och lutningen av den funktion som utvärderats vid en punkt vid eller nära den aktuella iteraten. (Det föregående steget kodar gradientinformation från tidigare skeden i den iterativa processen.) Vi visar med hjälp av det stabila mångfaldiga teoremet att tungbollsmetoden sannolikt inte konvergerar till stränga sadelpunkter, vilka är punkter där lutningen av målet är noll men hessianen har minst ett negativt eigenvärde. Vi undersöker sedan beteendet hos tungbollsmetoden och Nesterovs accelererade lutningsmetod i närheten av en strikt sadelpunkt i en icke konvex kvadratisk funktion, vilket visar att båda metoderna kan avvika från denna punkt snabbare än den brantaste nedstigningsmetoden.
Beteendet av en accelererad gradient metod nära sadeln punkter av okonstruerade fall av (1) (d.v.s., med h = 0) studeras i REF.
Behavior of Accelerated Gradient Methods Near Critical Points of Nonconvex Functions
{'venue': None, 'journal': 'arXiv: Optimization and Control', 'mag_field_of_study': ['Computer Science', 'Mathematics']}