Nya verk har kastat lite ljus över mysteriet med varför djupa nät passar någon data och generalisera trots att vara mycket överparametrized. Detta papper analyserar utbildning och generalisering för ett enkelt 2-lagers ReLU-nät med slumpmässig initiering, och ger följande förbättringar jämfört med de senaste arbetena: (i) Använda en snävare karakterisering av träningshastighet än de senaste tidningarna, en förklaring till varför utbildning ett neuralt nät med slumpmässiga etiketter leder till långsammare utbildning, som ursprungligen observerats i [Zhang et al. Denna förordning är till alla delar bindande och direkt tillämplig i alla medlemsstater. (ii) Generalisering bunden oberoende av nätstorlek, med hjälp av en databeroende komplexitetsåtgärd. Vår åtgärd skiljer tydligt mellan slumpmässiga etiketter och äkta etiketter på MNIST och CIFAR, vilket visas av experiment. Dessutom, nya papper kräver prov komplexitet för att öka (slowly) med storleken, medan vårt urval komplexitet är helt oberoende av nätverksstorleken. iii) Lärbarhet för en bred klass av smidiga funktioner genom 2-lagers ReLU-nät som tränas genom lutningsnedstigning. Nyckelidén är att spåra dynamiken i träning och generalisering via egenskaper hos en relaterad kärna.
Mer nyligen i REF, en generalisering gräns härleddes för GD-lösningar med hjälp av en databeroende norm.
Fine-Grained Analysis of Optimization and Generalization for Overparameterized Two-Layer Neural Networks
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Mathematics', 'Computer Science']}