Varför generaliseras djupa neurala nätverk med ett mycket högdimensionellt parameterutrymme? Vi valde en teoretisk metod för information. Vi finner att dimensionaliteten i parameterutrymmet kan studeras med singular semi-Riemannian geometri och är övre-bundet av provstorleken. Vi anpassar Fisher information till denna unika neuromanifold. Vi använder slumpmässig matristeori för att härleda en minsta beskrivningslängd på en djupinlärningsmodell, där spektrumet av Fisher-informationsmatrisen spelar en viktig roll för att förbättra generaliseringen.
Även ett informationsteoretiskt tillvägagångssätt, REF härledde en ny formulering av den minsta beskrivningslängden i samband med djupt lärande genom att använda verktyg från singular semi-Riemannian geometri.
Lightlike Neuromanifolds , Occam ’ s Razor and Deep Learning