Adaptiva optimeringsmetoder som ADAGRAD, RMSPROP och ADAM har föreslagits för att uppnå en snabb utbildningsprocess med en elementmässigt skalande term på lärandet. Även om de råder, de observeras att generalisera dåligt jämfört med SGD eller till och med misslyckas med att konvergera på grund av instabila och extrema inlärningsfrekvenser. Den senaste tidens arbete har lagt fram vissa algoritmer som AMSGRAD för att ta itu med denna fråga, men de misslyckades med att uppnå betydande förbättringar jämfört med befintliga metoder. I vår artikel visar vi att extrem inlärningsfrekvens kan leda till dåliga resultat. Vi tillhandahåller nya varianter av ADAM och AMSGRAD, som kallas ADABOUND respektive AMSBOUND, som använder dynamiska gränser för inlärningshastigheter för att uppnå en gradvis och smidig övergång från adaptiva metoder till SGD och ge ett teoretiskt bevis på konvergens. Vi utför vidare experiment på olika populära uppgifter och modeller, vilket ofta är otillräckligt i tidigare arbeten. Experimentella resultat visar att nya varianter kan eliminera klyftan mellan adaptiva metoder och SGD och samtidigt bibehålla högre inlärningshastighet tidigt i utbildningen. Dessutom kan de åstadkomma betydande förbättringar jämfört med sina prototyper, särskilt när det gäller komplexa djupa nätverk. Genomförandet av algoritmen finns på https://github.com/Luolc/AdaBound.
För att undvika extremt stora eller små inlärningsfrekvenser föreslår REF varianter av Adam och AMSGrad genom att hålla den andra perioden i icke-ökande intervall.
Adaptive Gradient Methods with Dynamic Bound of Learning Rate
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Computer Science', 'Mathematics']}