Detta papper utforskar den icke-konvexa sammansättning optimeringen i form inklusive inre och yttre finita funktioner med ett stort antal komponentfunktioner. Detta problem uppstår i vissa viktiga tillämpningar såsom icke-linjärt inbäddande och förstärkande lärande. Även om befintliga metoder såsom stokastisk lutning nedstigning (SGD) och stokastisk varians reducerad lutning (SVRG) nedstigning kan tillämpas för att lösa detta problem, deras fråga komplexitet tenderar att vara hög, särskilt när antalet inre komponentfunktioner är stort. I detta papper använder vi variansreducerad teknik för att härleda två variansreducerade algoritmer som avsevärt förbättrar frågekomplexiteten om antalet inre komponentfunktioner är stort. Såvitt vi vet är detta det första arbetet som etablerar frågekomplexhetsanalysen för icke-konvex stokastisk sammansättning. Experiment validerar de föreslagna algoritmerna och den teoretiska analysen.
al REF beaktade den icke konvexa funktionen och analyserade frågekomplexiteten med olika storlekar på den inre funktionen och den yttre funktionen.
Variance Reduced methods for Non-convex Composition Optimization
{'venue': None, 'journal': 'arXiv: Machine Learning', 'mag_field_of_study': ['Mathematics']}