Vi introducerar ett nytt tillvägagångssätt för att analysera prestandan hos första ordningens blackboxoptimeringsmetoder. Vi fokuserar på smidig konvex minimering över Euclidean utrymme R d. Vår strategi bygger på observationen att per definition, det värsta fallet beteendet hos en svart-box optimeringsmetod är av sig själv ett optimeringsproblem, som vi kallar Performance Estimation Problem (PEP). Vi formulerar och analyserar PEP för två klasser av första ordningens algoritmer. Vi tillämpar först detta tillvägagångssätt på den klassiska gradientmetoden och härleder en ny och snäv analys som är bunden till dess prestanda. Vi betraktar sedan en bredare klass av förstklassiga svart-box-metoder, som bland annat omfattar den så kallade tung-boll-metoden och de snabba gradienterna. Vi visar att för denna bredare klass är det möjligt att härleda nya numeriska gränser för dessa metoders prestanda genom att lösa en tillräckligt avslappnad konvex semidefinit PEP. Slutligen visar vi en effektiv procedur för att hitta optimala stegstorlekar som resulterar i en första-order svart-box metod som uppnår bästa prestanda.
Den första av dem är REF, där Drori och Tebouelle utvecklade en SDP för att härleda analytiska/numeriska gränser på det värsta fallet prestanda av den okonstruerade gradientmetoden och dess accelererade variant.
Performance of first-order methods for smooth convex minimization: a novel approach
{'venue': None, 'journal': 'arXiv: Optimization and Control', 'mag_field_of_study': ['Mathematics', 'Computer Science']}