Traditionellt har stokastisk approximation (SA) system varit populära val för att lösa stokastiska optimeringsproblem. Men prestandan för standard SA-implementeringar kan variera avsevärt beroende på valet av steglängdssekvens, och i allmänhet ges lite vägledning om bra val. Motiverade av denna lucka, i den första delen av tidningen, presenterar vi två adaptiva steglängdsscheman för starkt konvexa differentierade stokastiska optimeringsproblem, utrustade med konvergensteori, som syftar till att övervinna en del av beroendet av användarspecifika parametrar. Av dessa, det första systemet, kallas en rekursiv steglängd stokastisk approximation (RSA) system, optimerar felgränserna för att härleda en regel som uttrycker steglängd vid en given iteration som en enkel funktion av steglängd vid föregående iteration och vissa problemparametrar. Det andra systemet, benämnt som ett steglängdsschema för steglängd (CSA), bibehåller steglängdssekvensen som en bitvis konstant minskande funktion med minskningen av steglängden som inträffar när en lämplig feltröskel uppnås. I den andra delen av dokumentet tillåter vi icke-differentierade mål, men med begränsade undergrupper över ett visst område. I ett sådant system föreslår vi en lokal utjämningsteknik, baserad på slumpmässiga lokala störningar av den objektiva funktionen, som leder till en differentierad approximation av funktionen. Om vi antar en enhetlig fördelning på den lokala slumpmässighet, etablerar vi en Lipschitzian egenskap för lutningen av approximationen och bevisar att den erhållna Lipschitz bundna växer i en blygsam takt med problemstorlek. Detta underlättar utvecklingen av en adaptiv styvlängds stokastisk approximationsram, som nu kräver provtagning i produktutrymmet för den ursprungliga åtgärden och den artificiellt införda distributionen. De resulterande adaptiva steglängdsscheman tillämpas på tre stokastiska optimeringsproblem. I synnerhet konstaterar vi att båda systemen fungerar bra i praktiken och uppvisar betydligt mindre tillit till användardefinierade parametrar.
Till exempel, två adaptiva steg storlekssystem, som kallas en rekursiv steg storlek stokastisk approximation (RSA) system och en kaskad steg storlek stokastisk approximation (CSA) system, lades fram av Yousefian et al. Hoppa över det.
On Stochastic Gradient and Subgradient Methods with Adaptive Steplength Sequences
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Computer Science', 'Mathematics']}