I praktiken finner man ofta att stora överparameteriserade neurala nätverk generaliserar bättre än sina mindre motsvarigheter, en observation som verkar strida mot klassiska föreställningar om funktionskomplexitet, som typiskt gynnar mindre modeller. I detta arbete undersöker vi denna spänning mellan komplexitet och generalisering genom en omfattande empirisk undersökning av två naturliga mått av komplexitet relaterade till känslighet för input perturbations. Våra experiment kartlägger tusentals modeller med olika helanslutna arkitekturer, optimatorer och andra hyper-parametrar, samt fyra olika bildklassificeringsdataset. Vi finner att tränade neurala nätverk är mer robusta till inmatning perturbationer i närheten av träningsdatagrenröret, mätt som normen av input-output Jacobian av nätverket, och att det korrelerar väl med generalisering. Vi konstaterar vidare att faktorer i samband med dålig generalisering - såsom full-batch utbildning eller med hjälp av slumpmässiga etiketter - motsvarar lägre robusthet, medan faktorer i samband med god generalisering -som dataförstärkning och ReLU icke-linjäriteter - ger upphov till mer robusta funktioner. Slutligen visar vi hur input-output Jacobian norm kan förutsäga generalisering på nivån för individuella testpunkter.
Novak m.fl. REF undersökte sambandet mellan känsligheten hos tränade neurala nätverk och generaliseringen.
Sensitivity and Generalization in Neural Networks: an Empirical Study
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Computer Science', 'Mathematics']}