Vi anser stokastisk starkt konvex optimering med en komplex ojämlikhet begränsning. Denna komplexa ojämlikhet begränsning kan leda till beräkning dyrt prognoser i algoritmiska iterationer av de stokastiska lutning nedstigning (SGD) metoder. För att minska beräkningskostnaderna för prognoserna föreslår vi en Epoch-Projection Stochastic Gradient Descent (Epro-SGD) metod. Den föreslagna Epro-SGD-metoden består av en sekvens av epoker; den tillämpar SGD på en förstärkt objektiv funktion vid varje iteration inom epoken, och utför sedan en projektion vid slutet av varje epok. Med tanke på en stark konvex optimering och för ett totalt antal T iterationer, Epro-SGD kräver endast log(T ) prognoser, och under tiden uppnår en optimal konvergens av O(1/T ), både i förväntan och med hög sannolikhet. För att utnyttja optimeringsproblemets struktur föreslår vi en proximal variant av Epro-SGD, nämligen Epro-ORDA, baserad på den optimala regulariserade metoden med dubbla medelvärden. Vi tillämpar de föreslagna metoderna på verkliga tillämpningar; de empiriska resultaten visar hur effektiva våra metoder är.
För begränsade optimeringsproblem behöver dock metoderna i REF fortfarande göra prognoser vid varje iteration.
Optimal Stochastic Strongly Convex Optimization with a Logarithmic Number of Projections
{'venue': 'UAI 2016', 'journal': 'arXiv: Learning', 'mag_field_of_study': ['Computer Science', 'Mathematics']}