Abstrakt. Inbegripet andra ordningens krökningsinformation i gradientbaserade metoder har visat sig förbättra konvergensen drastiskt trots dess beräkningsintensitet. I detta dokument föreslår vi en stokastisk (online) kvasi-Newton-metod med Nesterovs accelererade gradient i både dess fullständiga och begränsade minnesformer för att lösa storskaliga problem med icke-konvex optimering i neurala nätverk. Den föreslagna algoritmens prestanda utvärderas i Tensorflow på referensklassificering och regressionsproblem. Resultaten visar bättre prestanda jämfört med den klassiska andra ordningen oBFGS och oLBFGS metoder och populära första ordningen stokastiska metoder som SGD och Adam. Prestandan med olika momentumhastigheter och batchstorlekar har också illustrerats.
Ytterligare en stokastisk förlängning av NAQ-algoritmen -o(L)NAQ REF föreslogs och visades ha förbättrat prestanda jämfört med o(L)BFGS-metoden.
A Stochastic Quasi-Newton Method with Nesterov's Accelerated Gradient
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Mathematics', 'Computer Science']}