Vi analyserar konvergenshastigheter av stokastiska optimeringsförfaranden för icke-smooth konvexa optimeringsproblem. Genom att kombinera randomiserade utjämningsmetoder med accelererade gradientmetoder, får vi konvergenshastigheter av stokastiska optimeringsmetoder, både i förväntan och med hög sannolikhet, som har optimalt beroende av variansen av gradientuppskattningar. Såvitt vi vet är dessa de första variansbaserade hastigheterna för icke-smooth optimering. Vi ger flera tillämpningar av våra resultat till statistiska skattningsproblem, och ger experimentella resultat som visar effektiviteten av de föreslagna algoritmerna. Vi beskriver också hur en kombination av vår algoritm med det senaste arbetet med decentraliserad optimering ger en distribuerad stokastisk optimeringsalgoritm som är orderoptimal.
Till exempel, utjämning en nonsmooth konvex objektiv funktion genom konvolution kan förbättra konvergensen av stokastiska optimeringsalgoritmer REF.
Randomized Smoothing for Stochastic Optimization
{'venue': None, 'journal': 'arXiv: Optimization and Control', 'mag_field_of_study': ['Computer Science', 'Mathematics']}