En central utmaning för många områden av vetenskap och teknik innebär att minimera icke-konvexa felfunktioner över kontinuerliga, högdimensionella utrymmen. Gradientnedstigning eller kvasi-Newton metoder är nästan allmänt används för att utföra sådana minimeringar, och det anses ofta att en huvudsaklig källa till svårigheter för dessa lokala metoder att hitta det globala minimum är spridningen av lokala minima med mycket högre fel än det globala minimum. Här hävdar vi, baserat på resultat från statistisk fysik, slumpmässig matristeori, neural nätverk teori, och empiriska bevis, att en djupare och mer djupgående svårighet härrör från spridningen av sadeln punkter, inte lokala minima, särskilt i högdimensionella problem av praktiskt intresse. Sådana sadelpunkter är omgivna av höga felplatåer som dramatiskt kan bromsa inlärningen och ge det illusoriska intrycket av existensen av ett lokalt minimum. Motiverade av dessa argument föreslår vi ett nytt tillvägagångssätt för andra ordningens optimering, den sadelfria Newton-metoden, som snabbt kan undkomma högdimensionella sadelpunkter, till skillnad från lutningsnedstigning och kvasi-Newton-metoder. Vi tillämpar denna algoritm på djup eller återkommande neurala nätverk utbildning, och ge numeriska bevis för sin överlägsna optimering prestanda. Detta arbete förlänger resultaten av.
REF undersökte sadelpunkterna i djupa neurala nätverk med hjälp av resultaten från statistisk fysik och slumpmässig matristeori.
Identifying and attacking the saddle point problem in high-dimensional non-convex optimization
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Computer Science', 'Mathematics']}