Vi anser att ett generiskt problem med konvex optimering är förknippat med legaliserad empirisk riskminimering av linjära prediktorer. Problemstrukturen gör det möjligt för oss att omformulera den som ett konvext konkav sadelproblem. Vi föreslår en stokastisk primal-dual koordinat (SPDC) metod, som växlar mellan maximering över en slumpmässigt vald dubbelvariabel och minimering över den primära variabeln. Ett extrapolering steg på den primära variabeln utförs för att erhålla accelererad konvergens. Vi utvecklar också en mini-batch-version av SPDC-metoden som underlättar parallell beräkning, och en förlängning med viktade sannolikheter för provtagning på de dubbla variablerna, som har en bättre komplexitet än enhetlig provtagning på onormaliserade data. Både teoretiskt och empiriskt visar vi att SPDC-metoden har jämförbar eller bättre prestanda än flera toppmoderna optimeringsmetoder.
SPDC REF baserades på den ursprungliga algoritmen, som alternativt uppdaterade de primära och dubbla variablerna.
Stochastic Primal-Dual Coordinate Method for Regularized Empirical Risk Minimization
{'venue': None, 'journal': 'arXiv: Optimization and Control', 'mag_field_of_study': ['Mathematics', 'Computer Science']}