Vi designar en stokastisk algoritm för att träna alla jämna neurala nätverk till ε-ungefärliga lokala minima, med hjälp av O(ε −3.25 ) backpropagations. Det bästa resultatet var i huvudsak O(ε −4 ) av SGD. Mer allmänt finner det ε-ungefärliga lokala minima av någon slät icke konvex funktion i takt O(ε −3.25 ), med endast orakel tillgång till stokastiska gradienter och hessiska-vektor produkter. * Detta papper är byggt på, men bör inte förväxlas med, offline metoden Natasha1 [3] som endast hittar ungefärliga stationära punkter. En del av detta resultat presenterades kortfattat vid ICML 2017 tutorial, utan publicerade förfaranden [4]. Om tid är tillåten kan vi inkludera experiment i en framtida version. ArXiv:1708.08694v1 [math.OC] 29 Aug 2017 där både f (·) och varje f i (·) kan vara nonconvex. Vi vill studera online-algoritmer för att hitta ungefärligt lokalt minimum av f (x). Här säger vi att en algoritm är online om dess komplexitet är oberoende av n. Detta tar itu med big-data scenarier när n är extremt stor eller till och med oändlig. 1 Icke konvex optimering uppstår framträdande i storskalig maskininlärning. I synnerhet, utbildning djupa neurala nätverk motsvarar minimering f (x) av denna genomsnittliga struktur: varje träningsprov i motsvarar en förlust funktion f i (·) i summan. Denna genomsnittliga struktur gör det möjligt för en att utföra stokastisk lutning nedstigning (SGD) som använder en slumpmässig  påf i (x) -motsvarar beräkning backpropagation en gång till ungefärlig  påf (x) och utför nedstigning uppdateringar. Standardmålet för effektiv icke-konvex optimering är att hitta lokala minima, eftersom att hitta den globala är NP-hård. Experiment i [15, 16, 24] tyder på att snabb konvergens med lokala minima kan vara tillräcklig för att träna neurala nät, medan konvergens till stationära punkter (dvs. punkter som kan vara sadelpoäng) inte är det. Med andra ord måste vi fly från sadeln. Fly från Saddle Points. Slumpmässighet hjälper oss naturligt att fly från sadeln. Till exempel Ge et al. [22] visade det slumpmässiga bullret från stokastiska lutningar hjälper SGD att göra exploatering, och fly från sadeln punkter. Jin m.fl. [27] visade att när den är utrustad med slumpmässig perturbation, full lutning nedstigning (GD) också flyr från sadeln punkter [27]. Dessa resultat ansågs vara genombrott i maskininlärning, eftersom de framgångsrikt förklarade varför stokastiska metoder fungerar så bra i djupt lärande. Att vara lätt att genomföra, dock, SGD och GD är fortfarande "blind" till den hessiska informationen om funktionen. Hur kan vi använda Hessian mer effektivt? Naturligtvis, i storskaliga inställningar, vill vi inte tillämpa andra ordningen metoder, eftersom även datorisering en d × d hessian matris kan vara orealistisk. Lyckligtvis är computing hessian-vektor produkt oftast beräknings billigt. Hessian-vektor produkter Om f i (x) representeras av en storlek-S aritmetisk krets, sedan dator i (x) och 2 f i (x) · w båda kostnadstid O(S) på grund av kedjeregeln derivat [38]. För utbildning neurala nätverk, computing f i (x) kräver en backpropagation; men 2 f i (x) · w kan också genomföras via en backpropagation, för ett nätverk av ungefär samma storlek [38, 41]. I praktiken har vissa rapporterat att hessisk-vektor produkt är två gånger dyrt att beräkna som f i (x) [41] i utbildning neurala nätverk.
REF föreslog Natasha2-algoritmen som finner en (, ε ) ungefärlig stationär andra ordningens punkt inom O( −7/2 ) stokastisk lutning och hessisk-vektor produktutvärderingar.
Natasha 2: Faster Non-Convex Optimization Than SGD
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Computer Science', 'Mathematics']}