Vi etablerar en data-beroende begrepp av algoritmisk stabilitet för Stochastic Gradient Descent (SGD) och använder den för att utveckla nya generalisering gränser. Detta är i motsats till tidigare distributionsfria algoritmiska stabilitetsresultat för SGD som är beroende av de värsta konstanterna. På grund av det databeroende argumentet ger våra gränser nya insikter i lärande med SGD om konvexa och icke-konvexa problem. I det konvexa fallet visar vi att gränsen på generaliseringsfelet är multiplikativ i risken vid initieringspunkten. I det icke-konvexa fallet bevisar vi att den förväntade krökningen av den objektiva funktionen runt initieringspunkten har ett avgörande inflytande på generaliseringsfelet. I båda fallen föreslår våra resultat en enkel datadriven strategi för att stabilisera SGD genom att förhandsscreena dess initiering. * ilja.kuzborskij@idiap.ch, arbete utfört på IST Österrike.
Kuzborskij och Lampert REF ger databeroende generaliseringsgränser för SGD vid smidiga konvexa och icke konvexa förluster baserade på stabilitet.
Data-Dependent Stability of Stochastic Gradient Descent
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Mathematics', 'Computer Science']}