Vi härleder en andra ordningens vanliga differentialekvation (ODE) som är gränsen för Nesterovs accelererade gradientmetod. Denna ODE uppvisar ungefärlig motsvarighet till Nesterovs system och kan därmed fungera som ett verktyg för analys. Vi visar att den kontinuerliga tiden för ODE möjliggör en bättre förståelse av Nesterovs system. Som en biprodukt får vi en familj av system med liknande konvergensnivåer. ODE-tolkningen föreslår också en omstart av Nesterovs system som leder till en algoritm, som noggrant kan bevisas konvergera linjärt när målet är starkt konvext.
I REF har en andra ordningens vanliga differentialekvation härletts för att uppskatta och analysera gränsen för Nesterovs accelererade gradientmetod.
A Differential Equation for Modeling Nesterov's Accelerated Gradient Method: Theory and Insights
{'venue': None, 'journal': 'arXiv: Machine Learning', 'mag_field_of_study': ['Mathematics', 'Computer Science']}