Nya arbeten har visat att stokastisk lutning nedstigning (SGD) uppnår den snabba konvergensen av full-batch lutning nedstigning för överparameteriserade modeller som uppfyller vissa interpolation förhållanden. Den stegstorlek som används i dessa verk beror dock på okända mängder, och SGD:s praktiska prestanda beror i hög grad på valet av stegstorlek. Vi föreslår att använda line-search metoder för att automatiskt ställa in stegstorleken när utbildningsmodeller som kan interpolera data. Vi bevisar att SGD med den klassiska Armijo line-search uppnår den snabba konvergensen av full-batch lutning nedstigning i konvexa och starkt konvexa inställningar. Vi visar också att enligt ytterligare antaganden kan SGD med en modifierad linjesökning uppnå en snabb konvergensgrad för icke-konvexa funktioner. Dessutom visar vi att en stokastisk extra-gradient metod med en Lipschitz linje-sök uppnår en snabb konvergenshastighet för en viktig klass av icke-konvexa funktioner och sadel-punkt problem tillfredsställande interpolation. Vi ger sedan heuristik för att använda större steg och acceleration med våra linjesökningstekniker. Vi jämför de föreslagna algoritmerna med många optimeringsmetoder för standardklassificeringsuppgifter med hjälp av både kärnmetoder och djupa nätverk. De föreslagna metoderna är robusta och leder till konkurrenskraftiga resultat för alla modeller och datauppsättningar. Dessutom, för de djupa nätverksmodellerna, SGD med vår linje-sökning resulterar i både snabbare konvergens och bättre generalisering.
Ett annat tillvägagångssätt tillämpas av REF som överväger en linje-sök teknik för att ställa in stegstorlekar i SGD, för konvexa och icke-konvexa funktioner som uppfyller den starka tillväxt villkor.
Painless Stochastic Gradient: Interpolation, Line-Search, and Convergence Rates
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Mathematics', 'Computer Science']}