Vi studerar begränsade stokastiska optimeringsproblem där den objektiva funktionen är en sammansättning av två smidiga funktioner vars exakta värden och derivat inte är tillgängliga. Vi föreslår en enda tidsskala stokastisk approximationsalgoritm, som vi kallar Nested Genomsnittlig Stochastic Caimation (NASA), för att hitta en ungefärlig stationär punkt av problemet. Algoritmen har två extra genomsnittliga sekvenser (filter) som uppskattar lutningen av den sammansatta objektiva funktionen och det inre funktionsvärdet. Genom att använda en särskild Lyapunov-funktion, visar vi att NASA uppnår prov komplexiteten i O(1/ε 2 ) för att hitta en ε-ungefärlig stationär punkt, vilket överträffar alla extant metoder för bo stokastisk approximation. Vår metod och dess analys är densamma för både okonstruerade och begränsade problem, utan behov av partiprover för begränsad icke konvex stokastisk optimering. Vi presenterar också en förenklad variant av NASA-metoden för att lösa begränsade ennivå stokastiska optimeringsproblem, och vi visar samma komplexitet resultat för både okonstruerade och begränsade problem.
Verket REF får komplexiteten i en gradient medelvärdesbaserad metod för begränsade problem.
A Single Time-Scale Stochastic Approximation Method for Nested Stochastic Optimization
{'venue': None, 'journal': 'arXiv: Optimization and Control', 'mag_field_of_study': ['Mathematics', 'Computer Science']}