I denna uppsats analyserar vi ett antal arkitektoniska funktioner i Deep Neural Networks (DNN), med hjälp av den så kallade Neural Tangent Kernel (NTK). NTK beskriver träningsbanan och generaliseringen av DNN i den oändliga breddgränsen. I denna gräns, visar vi att för (fullständigt anslutna) DNN, när djupet växer, två regimer visas: "frys" (även känd som "ordning"), där (skalad) NTK konvergerar till en konstant (slowing konvergens), och "chaos", där det konvergerar till en Kronecker delta (begränsa generalisering). Vi visar att när vi använder den skalade ReLU som en icke-linjäritet, hamnar vi naturligtvis i "frysningen". Vi visar att Batch Normalization (BN) undviker frysningen regim genom att minska betydelsen av konstant läge i NTK. En liknande effekt uppnås genom att normalisera den icke-linjäritet som flyttar nätverket till den kaotiska regimen. Vi avslöjar samma "frys-" och "kaos"-lägen i Deep Deconvolutional Networks (DC-NN). Den "frys" regim kännetecknas av checkerboard mönster i bilden utrymme utöver de konstanta lägen i inmatningsutrymme. Slutligen inför vi en ny NTK-baserad parametrisering för att eliminera gränsartefakter och vi föreslår en skiktberoende inlärningshastighet för att förbättra konvergensen mellan DC-NN. Vi illustrerar våra resultat genom att utbilda DCGANs med hjälp av vår installation. När vi utbildas i "frysregimen" ser vi att generatorn kollapsar till ett checkerboardläge. Vi demonstrerar också numeriskt att generatorn kollapsar kan undvikas och att god kvalitet prover kan erhållas, genom att justera nonlinearity för att nå "chaos" regim (utan att använda batch normalisering).
REF visar att batch normalisering hjälper till att ta bort den "beordrade fasen" (som i ) och en lagerberoende inlärningshastighet gör att varje lager i ett nätbrott kan bidra till lärande.
Freeze and Chaos for DNNs: an NTK view of Batch Normalization, Checkerboard and Boundary Effects
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Mathematics', 'Computer Science']}