Djupa neurala nätverk utbildas ofta i överparametrized regim (dvs. med mycket mer parametrar än träningsexempel), och förståelse för varför utbildningen konvergerar till lösningar som generaliserar förblir ett öppet problem Zhang et al. Kommissionens genomförandeförordning (EU) nr 668/2014 av den 13 juni 2014 om tillämpningsföreskrifter för Europaparlamentets och rådets förordning (EU) nr 1151/2012 om kvalitetsordningar för jordbruksprodukter och livsmedel (EUT L 179, 19.6.2014, s. 1). Flera studier har visat att utbildningsförfarandet, dvs. mini-batch Stochastic Gradient Descent (SGD) leder till lösningar som har specifika egenskaper i förlustlandskapet. Men även med enkel Gradient Descent (GD) de lösningar som finns i den överparametriserade regimen är ganska bra och detta fenomen är dåligt förstådd. Vi föreslår en analys av detta beteende för feedforward nätverk med en ReLU aktivering funktion under antagandet av liten initialisering och inlärningshastighet och avslöja en kvantisering effekt: Viktvektorerna tenderar att koncentrera sig på ett litet antal riktningar som bestäms av inmatningsdata. Som en följd av detta visar vi att för givna indata finns det endast ändligt många, "enkla" funktioner som kan erhållas, oberoende av nätverksstorleken. Detta sätter dessa funktioner i analogi med linjära interpolationer (för givna indata finns det ändligt många triangulationer, som var och en bestämmer en funktion genom linjär interpolation). Vi frågar om denna analogi sträcker sig till generalisering egenskaper - medan den vanliga distribution-oberoende generalisering egendom inte håller, det kan vara det för t.ex.. smidiga funktioner med avgränsat andra derivat en approximation egenskap innehar som kan "förklara" generalisering av nätverk (av obunden storlek) till osynliga ingångar.
Särskilt, författarna i REF visade att implicit legalisering har en stark koppling till initiering av ett nätverk och visade att nätverksvikter tenderar att anpassa sig längs vissa riktningar som bestäms av inmatningsdata, vilket innebär att det endast finns ändligt många möjliga enkla funktioner för en given datauppsättning.