Stochastic konvex optimering är en grundläggande och väl studerade primitiv i maskininlärning. Det är välkänt att konvexa och Lipschitz funktioner kan minimeras effektivt med Stochastic Gradient Descent (SGD). Den Normaliserade Gradient Descent (NGD) algoritm, är en anpassning av Gradient Descent, som uppdaterar enligt riktningen för gradienterna, snarare än gradienterna själva. I detta dokument analyserar vi en stokastisk version av NGD och bevisar dess konvergens till ett globalt minimum för en bredare klass av funktioner: vi kräver att funktionerna är kvasi-konvexa och lokalt-Lipschitz. Kvasikonvexitet breddar begreppet enmodalitet till multidimensioner och möjliggör vissa typer av sadelpunkter, som är ett känt hinder för förstklassiga optimeringsmetoder såsom lutning anständig. Lokalt-Lipschitz funktioner krävs bara för att vara Lipschitz i en liten region runt den optimala. Detta antagande kringgår gradientexplosion, vilket är ett annat känt hinder för gradient nedstigning varianter. Intressant, till skillnad från vanilj SGD algoritm, den stokastiska normaliserade lutning nedstigningsalgoritmen bevisligen kräver en minimal minibatch storlek.
Quasi-konvex optimering -Hazan et al. studera kvasi-konvexa och lokalt-Lipschitz förlustfunktioner som medger vissa sadelpoäng REF.
Beyond Convexity: Stochastic Quasi-Convex Optimization
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Mathematics', 'Computer Science']}