Vi inför ett generiskt system för att påskynda första ordningens optimeringsmetoder i Nesterovs mening, som bygger på en ny analys av den accelererade proximala punktalgoritmen. Vårt tillvägagångssätt består i att minimera ett konvext mål genom att ungefär lösa en sekvens av väl valda hjälpproblem, vilket leder till snabbare konvergens. Denna strategi gäller en stor klass av algoritmer, inklusive lutning nedstigning, blockkoordinat nedstigning, SAG, SAGA, SDCA, SVRG, Finito/MISO, och deras proximala varianter. För alla dessa metoder ger vi acceleration och uttryckligt stöd för icke-starkt konvexa mål. Förutom teoretisk upptrappning visar vi också att acceleration är användbart i praktiken, särskilt för dåligt ställda problem där vi mäter betydande förbättringar.
Lin m.fl. REF tillhandahåller ett universellt system för att påskynda icke-accelererade första ordningens metoder.
A Universal Catalyst for First-Order Optimization
{'venue': 'NIPS', 'journal': None, 'mag_field_of_study': ['Mathematics', 'Computer Science']}