Vi visar att parametriska modeller tränade med en stokastisk gradientmetod (SGM) med få iterationer har försvunnit generaliseringsfel. Vi bevisar våra resultat genom att hävda att SGM är algoritmiskt stabil i betydelsen Bousquet och Elisseef. Vår analys använder endast elementära verktyg från konvex och kontinuerlig optimering. Vi härleder stabilitetsgränser för både konvex och icke-konvex optimering enligt standard Lipschitz och smidighet antaganden. Genom att tillämpa våra resultat på konvexa fall ger vi nya insikter om varför flera epoker av stokastiska gradientmetoder generaliseras väl i praktiken. I det icke-konvexa fallet ger vi en ny tolkning av vanliga metoder i neurala nätverk, och visar formellt att populära tekniker för att träna stora djupa modeller verkligen är stabilitetsfrämjande. Våra resultat understryker begreppsmässigt vikten av att minska träningstiden utöver dess uppenbara nytta.
REF införde en generaliseringsfel övre gräns för en modell tränad med stokastisk lutning nedstigning för konvexa och icke-konvexa optimeringsproblem.
Train faster, generalize better: Stability of stochastic gradient descent
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Computer Science', 'Mathematics']}