Även lutning nedstigning (GD) nästan alltid undgår sadeln punkter asymptotiskt, detta papper visar att även med ganska naturliga slumpmässiga initialiseringsscheman och icke-patologiska funktioner, GD kan avsevärt bromsas ner av sadelpoäng, tar exponentiellt tid att fly. Å andra sidan, lutning nedstigning med perturbationer [Ge et al., 2015 inte saktas ner av sadeln poäng-det kan hitta en ungefärlig lokal minimering i polynom tid. Detta resultat innebär att GD i sig är långsammare än perturbed GD, och motiverar vikten av att lägga till perturbationer för effektiv icke-konvex optimering. Medan vårt fokus är teoretiskt, presenterar vi också experiment som illustrerar våra teoretiska resultat.
Du och Al. REF visade att PGD eller bullriga GD kan fly sadelspetsen snabbare.
Gradient Descent Can Take Exponential Time to Escape Saddle Points
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Computer Science', 'Mathematics']}