Detta papper visar att en perturbed form av lutning nedstigning konvergerar till en andra ordningen stationär punkt i ett antal iterationer som endast beror poly-logaritmiskt på dimension (dvs, det är nästan "dimension-fri"). Konvergensen för detta förfarande motsvarar den välkända konvergenshastigheten för lutningsnedstigning till första ordningens stationära punkter, upp till loggfaktorer. När alla sadelpunkter är icke-degenererade, är alla andra ordningens stationära punkter lokala minima, och vårt resultat visar därmed att perturbed lutning nedstigning kan fly sadeln punkter nästan gratis. Våra resultat kan tillämpas direkt på många maskininlärningsprogram, inklusive djupinlärning. Som ett konkret exempel på en sådan tillämpning visar vi att våra resultat kan användas direkt för att fastställa skarpa globala konvergensnivåer för matrisfaktorisering. Våra resultat bygger på en ny karakterisering av geometrin kring sadelpunkter, vilket kan vara av oberoende intresse för den icke-konvexa optimeringsmiljön.
I detta fall visar REF att perturbed lutning nedstigning undgår sadeln punkter och finner andra ordningen stationära punkter i Õ( ska −2 ) iterationer.
How to Escape Saddle Points Efficiently
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Computer Science', 'Mathematics']}