Det förblir ett pussel att varför djupa neurala nätverk (DNN), med fler parametrar än prover, ofta generalisera väl. Ett försök att förstå detta pussel är att upptäcka implicita fördomar som ligger till grund för DNN:s utbildningsprocess, såsom frekvensprincipen (F-Principle), d.v.s., DNNs passar ofta målfunktioner från låga till höga frekvenser. Inspirerad av F-Principlen föreslår vi en effektiv modell av linjär F-Principle (LFP) dynamik som exakt förutsäga lärande resultaten av två lager ReLU neurala nätverk (NNs) av stora bredder. Denna LFP dynamik rationaliseras av ett linjärt medelvärde fält restdynamik av NNs. Viktigt är att långtidslösningen av denna LFP-dynamik är likvärdig med lösningen på ett begränsat optimeringsproblem som uttryckligen minimerar en FP-norm, där högre frekvenser av genomförbara lösningar bestraffas hårdare. Med hjälp av denna optimering formulering, en förhandsbedömning av generalisering fel bundet, avslöjar att en högre FP-norm av målfunktionen ökar generalisering fel. Sammantaget, genom att uttrycka F-Principles implicita fördomar som ett uttryckligt straff för tvålagers NNs, vårt arbete gör ett steg mot en kvantitativ förståelse av lärande och generalisering av allmänna DNNs.
Ref uppskattar sedan ett tidigare generaliseringsfel baserat på en FP-norm för målfunktionen, som beror på Fourier-transformeringen av målfunktionen, men inte normen för DNN-parametrar.
Explicitizing an Implicit Bias of the Frequency Principle in Two-layer Neural Networks
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Mathematics', 'Computer Science']}