Accelererade gradientmetoder spelar en central roll i optimeringen och uppnår optimala hastigheter i många miljöer. Många generaliseringar och utökningar av Nesterovs ursprungliga accelerationsmetod har föreslagits, men det är ännu inte klart vad accelerationskonceptets naturliga räckvidd är. I denna uppsats studerar vi accelererade metoder ur ett kontinuerligt tidsperspektiv. Vi visar att det finns en Lagrangian funktion som vi kallar Bregman Lagrangian som genererar en stor klass av accelererade metoder i kontinuerlig tid, inklusive (men inte begränsat till) accelererad lutning nedstigning, dess icke-Euklidiska förlängning, och accelererad högre ordning gradient metoder. Vi visar att den kontinuerliga tidsgränsen för alla dessa metoder motsvarar att färdas samma kurva i rymdtid i olika hastigheter. Ur detta perspektiv kan Nesterovs teknik och många av dess generaliseringar ses som ett systematiskt sätt att gå från de kontinuerliga tidskurvor som genereras av Bregman Lagrangian till en familj av diskreta tidsaccelererade algoritmer.
För att bättre förstå accelerationsmekanismen föreslogs ett varierat tillvägagångssätt för vilket den kontinuerliga gränsen för en klass av accelererade metoder erhölls med Bregman Lagrangian. Metodklassen omfattar A-GD, dess icke-Euklidiska förlängning, och accelererade metoder med högre gradient.
A Variational Perspective on Accelerated Methods in Optimization
{'venue': 'Proceedings of the National Academy of Sciences of the United States of America', 'journal': 'Proceedings of the National Academy of Sciences of the United States of America', 'mag_field_of_study': ['Computer Science', 'Mathematics', 'Medicine']}