Prestandan av stokastisk lutningsnedstigning (SGD) beror kritiskt på hur inlärningsfrekvensen justeras och minskar med tiden. Vi föreslår en metod för att automatiskt justera flera inlärningsfrekvenser för att minimera det förväntade felet vid ett och samma tillfälle. Metoden bygger på lokala gradientvariationer mellan proverna. I vårt synsätt kan inlärningsfrekvensen både öka och minska, vilket gör den lämplig för icke-stationära problem. Med hjälp av ett antal konvexa och icke-konvexa inlärningsuppgifter, visar vi att den resulterande algoritmen matchar prestandan hos SGD eller andra adaptiva metoder med deras bästa inställningar som erhålls genom systematisk sökning, och effektivt eliminerar behovet av inlärningshastighet tuning.
För att helt undvika att stämma inlärningsfrekvenser, REF ansåg datorfrekvenser för att minimera uppskattningar av förväntningarna på förlusten vid ett och samma tillfälle.
No More Pesky Learning Rates
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Computer Science', 'Mathematics']}