Trots befintliga arbete med att säkerställa generalisering av neurala nätverk i termer av skala känsliga komplexa åtgärder, såsom normer, marginal och skärpa, dessa komplexa åtgärder ger inte en förklaring till varför neurala nätverk generaliseras bättre med överparametrisering. I detta arbete föreslår vi en ny komplexitetsåtgärd baserad på enhetsmässigt kapacitet vilket resulterar i en stramare generalisering bunden till två skikt ReLU-nät. Vår kapacitetsbindning korrelerar med beteendet hos testfel med ökande nätverksstorlekar, och kan potentiellt förklara förbättringen i generalisering med överparametrisering. Vi presenterar vidare en matchande lägre gräns för Rademacher komplexitet som förbättrar över tidigare kapacitet lägre gränser för neurala nätverk.
REF undersöker Rademachers komplexitet i tvåskiktsnät.
Towards Understanding the Role of Over-Parametrization in Generalization of Neural Networks
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Mathematics', 'Computer Science']}