Stochastic gradientalgoritmer har varit huvudfokus för storskaliga inlärningsproblem och de ledde till imponerande framgångar inom maskininlärning. Konvergensen av SGD beror på det noggranna valet av inlärningshastighet och mängden buller i stokastiska uppskattningar av lutningarna. I det här dokumentet föreslår vi en ny adaptiv inlärningshastighetsalgoritm, som använder krökningsinformation för att automatiskt justera inlärningsfrekvensen. Informationen om elementvis krökning av förlustfunktionen beräknas utifrån den lokala statistiken över de stokastiska gradienterna i första ordningen. Vi föreslår också en ny variansreduktionsteknik som automatiskt minskar variansen av buller i de lokala gradientskattningarna för att påskynda konvergensen. I våra preliminära experiment med djupa neurala nätverk fick vi bättre prestanda jämfört med de populära stokastiska gradientalgoritmerna.
Gulcehre och Bengio REF föreslår en adaptiv inlärningshastighet algoritm, AdaSecant, som använder roten medel kvadratstatistik och varians av gradienterna.
ADASECANT: Robust Adaptive Secant Method for Stochastic Gradient
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Mathematics', 'Computer Science']}