Detta manuskript utvecklar ett nytt ramverk för att analysera och designa iterativa optimeringsalgoritmer som bygger på begreppet Integral Quadratic Constraints (IQC) från robust kontrollteori. IQC ger tillräckliga villkor för stabiliteten i komplicerade sammankopplade system, och dessa villkor kan kontrolleras genom semidefinit programmering. Vi diskuterar hur man anpassar IQC-teorin för att studera optimeringsalgoritmer, visar nya ojämlikheter om konvexa funktioner och tillhandahåller en version av IQC-teorin anpassad för användning av optimeringsforskare. Med hjälp av dessa ojämlikheter härleder vi övre gränser för konvergenshastigheten för gradientmetoden, tungbollsmetoden, Nesterovs accelererade metod och relaterade varianter genom att lösa små, enkla semidefinita programmeringsproblem. Vi visar också kortfattat hur dessa tekniker kan användas för att söka efter optimeringsalgoritmer med önskade prestandaegenskaper, genom att etablera en ny metod för algoritmdesign.
Analysera och designa iterativa optimeringsalgoritmer som bygger på integral kvadratiska begränsningar från robust kontrollteori föreslås i REF.
Analysis and Design of Optimization Algorithms via Integral Quadratic Constraints
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Computer Science', 'Mathematics']}