Abstrakt. Vi anser att en familj av algoritmer som successivt prov och minimera enkla stokastiska modeller av den objektiva funktionen. Vi visar att under rimliga förhållanden med avseende på modellernas approximativa kvalitet och regelbundenhet driver alla sådana algoritmer en naturlig stationaritetsåtgärd till noll med hastigheten O(k −1/4 ). Som en följd av detta får vi de första komplexa garantierna för den stokastiska proximala punkten, proximal subgradient, och regulariserade Gauss-Newton metoder för att minimera kompositioner av konvexa funktioner med smidiga kartor. Den vägledande principen, som ligger till grund för de komplexa garantierna, är att alla algoritmer som är under övervägande kan tolkas som ungefärliga nedstigningsmetoder på en implicit utjämning av problemet, som ges av Moreau kuvertet. Specialiserade på klassiska omständigheter, får vi den länge eftersökta konvergensen av den stokastiska projicerade lutningsmetoden, utan batching, för att minimera en jämn funktion på en sluten konvex uppsättning.
Davis och Drusvyatskiy REF studerade en mer allmän algoritm som successivt minimerar en proximal legaliserad stokastisk modell av den objektiva funktionen.
Stochastic model-based minimization of weakly convex functions
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Mathematics', 'Computer Science']}