Detta papper anser stokastisk subgradient spegel-descent metod för att lösa begränsade konvexa minimering problem. I synnerhet undersöks en stokastisk subgradient spegel-descent metod med viktat iterat-medelvärde och dess periteratkonvergens analyseras. Den nya delen av metoden är i valet av vikter som används för att konstruera medelvärden. Genom att använda dessa viktade medelvärden visar vi att de kända optimala hastigheterna kan uppnås med enklare algoritmer än de som för närvarande finns i litteraturen. Genom att på lämpligt sätt välja stegvärden kan man få orderhastigheten 1/k för starkt konvexa funktioner och hastigheten 1/ ε k för allmänna konvexa funktioner (inte nödvändigtvis olika). Dessutom, i det senare fallet, det visas att en stokastisk subgradient spegel-descent med iterat medelvärde konvergerar (längs en subsekvens) till en optimal lösning, nästan säkert, även med stegize av formen 1/ ε 1 + k, som inte tidigare var känd. De stegize val som uppnår de bästa priserna är de som föreslås av Paul Tseng för acceleration av proximal gradient metoder [25].
Nedić och Lee REF använde en liknande form av detta system för en mer allmän projicerad stokastisk subgradient metod med Bregman avstånd, som uppnår 1/k konvergens för starkt konvexa funktioner, och 1/ ε k konvergenshastighet för allmänna konvexa funktioner.
On Stochastic Subgradient Mirror-Descent Algorithm with Weighted Averaging
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Computer Science', 'Mathematics']}