Flera nyligen föreslagna stokastiska optimeringsmetoder som framgångsrikt har använts i utbildning djupa nätverk såsom RMSPROP, ADAM, ADADELTA, NADAM bygger på att använda gradient uppdateringar skalas av kvadratrötter av exponentiellt rörliga medelvärden av kvadrat tidigare gradienter. I många tillämpningar, t.ex. lärande med stora utgående utrymmen, har det empiriskt observerats att dessa algoritmer misslyckas med att konvergera till en optimal lösning (eller en kritisk punkt i icke konvexa inställningar). Vi visar att en orsak till sådana misslyckanden är det exponentiellt rörliga genomsnittet som används i algoritmerna. Vi ger ett explicit exempel på en enkel konvex optimeringsinställning där ADAM inte konvergerar till den optimala lösningen, och beskriver de exakta problemen med den tidigare analysen av ADAM algoritm. Vår analys tyder på att konvergensfrågorna kan åtgärdas genom att sådana algoritmer förses med "långsiktigt minne" av tidigare gradienter, och föreslår nya varianter av ADAM-algoritmen som inte bara fixerar konvergensproblemen utan ofta också leder till förbättrad empirisk prestanda.
Beviset innehöll dock ett misstag som upptäcktes av REF, som också gav exempel på konvexa problem där Adam inte konvergerar till en optimal lösning.
On the Convergence of Adam and Beyond
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Computer Science', 'Mathematics']}