I detta dokument föreslår vi en enkel och effektiv metod för att förbättra stokastiska lutning nedstigningsmetoder genom att använda feedback från den objektiva funktionen. Metoden spårar de relativa förändringarna i den objektiva funktionen med ett löpande medelvärde, och använder den för att anpassa inlärningshastigheten i stokastisk lutning nedstigning. Vi tillämpar specifikt denna idé för att modifiera Adam, en populär algoritm för att träna djupa neurala nätverk. Vi utför experiment för att jämföra den resulterande algoritmen, som vi kallar Eve, med toppmoderna metoder som används för att träna djupinlärningsmodeller. Vi utbildar CNN för bildklassificering och RNN för språkmodellering och frågesvar. Våra experiment visar att Eve överträffar alla andra algoritmer på dessa referensuppgifter. Vi analyserar också beteendet hos återkopplingsmekanismen under träningsprocessen.
I synnerhet spårar REF de relativa förändringarna i den objektiva funktionen med ett löpande medelvärde, och använder det för att anpassa inlärningshastigheten i SGD.
Improving Stochastic Gradient Descent with Feedback
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Computer Science']}