Adaptive gradient metoder såsom AdaGrad och dess varianter uppdatera stegize i stokastisk lutning nedstigning på flugan enligt de gradienter som mottagits längs vägen; sådana metoder har fått utbredd användning i storskalig optimering för sin förmåga att konvergera robust, utan att behöva finjustera parametrar såsom stegize schemat. Ändå är de teoretiska garantierna hittills för AdaGrad för online och konvex optimering. Vi överbryggar denna lucka genom att ge starka teoretiska garantier i batch och stokastisk inställning, för konvergens av AdaGrad över släta, icke konvexa landskap, från någon initialisering av stegize, utan kunskap om Lipschitz konstant av lutningen. Vi visar i den stokastiska inställningen att AdaGrad konvergerar till en stationär punkt vid optimal O(1/ ε N ) hastighet (upp till en log(N ) faktor), och i batch inställning, vid optimal O(1/N ) hastighet. Dessutom, i båda inställningarna, konstanten i hastigheten matchar konstanten som erhålls som om variansen av lutningsbuller och Lipschitz konstant i lutningen var kända i förväg och används för att justera stegize, upp till en logaritmisk faktor i obalansen mellan den optimala stegize och den stegize som används för att initiera AdaGrad. I synnerhet, våra resultat innebär att AdaGrad är robust till den okända Lipschitz konstant och nivå av stokastiskt buller på lutningen, i en nästan optimal betydelse. När det finns buller, AdaGrad konvergerar i takt med O(1/ ε N ) med väl avstämda stegize, och när det inte finns något buller, samma algoritm konvergerar med hastigheten av O(1/N ) som väl avstämd batch lutning nedstigning.
Den optimala konvergensen erhölls också genom att REF använde AdaGrads globala steg, utan att man behövde justera parametrar.
AdaGrad stepsizes: sharp convergence over nonconvex landscapes
{'venue': 'ICML', 'journal': None, 'mag_field_of_study': ['Computer Science']}