Hyperparameter tuning är en av de stora kostnaderna för djupt lärande. Toppmoderna optimeringar, såsom Adagrad, RMSProp och Adam, gör det lättare genom att anpassa en individuell inlärningshastighet för varje variabel. Denna nivå av fin anpassning förstås ge en mer kraftfull metod. Men våra experiment, liksom den senaste teorin av Wilson et al. [1], visa att handjusterad stokastisk lutning nedstigning (SGD) uppnår bättre resultat, i samma takt eller snabbare. Hypotesen är att adaptiva metoder konvergerar till olika minima [1]. Här påpekar vi en annan faktor: ingen av dessa metoder justera sin momentum parameter, känd för att vara mycket viktigt för djupt lärande tillämpningar [2]. Avstämning av momentumparametern blir ännu viktigare i asynkrona parallelsystem: den senaste teorin [3] visar att asynkronin introducerar momentumliknande dynamik och att avstämning av algoritmiskt momentum är viktigt för effektiv parallellisering. Vi ser över den enkla momentum SGD algoritm och visar att hand-tuning en enda inlärningshastighet och momentum värde gör det konkurrenskraftigt med Adam. Vi analyserar sedan dess robusthet i inlärningshastighet felspecifikation och objektiv krökning variation. Baserat på dessa insikter designar vi YellowFin, en automatisk mottagare för både momentum och inlärningshastighet i SGD. YellowFin använder tillval en ny momentum-sensoring komponent tillsammans med en negativfeedback loop mekanism för att kompensera för den ökade dynamiken i asynkrony i farten. Vi visar empiriskt YellowFin konvergerar i färre iterationer än Adam på stora ResNet- och LSTM-modeller, med en hastighet upp till 2,8x i synkrona och 2,7x i asynkrona inställningar.
REF föreslog en automatisk tuner för momentum och inlärningshastighet i SGD.
YellowFin and the Art of Momentum Tuning
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Computer Science', 'Mathematics']}