Att förstå lärande och generalisering av djupa arkitekturer har varit ett stort forskningsmål under de senaste åren med anmärkningsvärda teoretiska framsteg. En huvudpunkt för generaliseringsstudier är framgången för alltför stora nätverk som trotsar den klassiska visdomen av enhetlig konvergens och inlärningsförmåga. Vi studerar empiriskt den lagermässigt funktionella strukturen hos överparameteriserade djupa modeller. Vi ger bevis för den heterogena egenskapen hos lager. För att göra det, introducerar vi begreppet (efter träning) re-inialisering och re-randomization robusthet. Vi visar att lager kan kategoriseras i antingen "robust" eller "kritisk". I motsats till kritiska lager har det inte några negativa konsekvenser att återställa de robusta skikten till sitt ursprungliga värde, och i många fall förändras de knappt under träningen. Vår studie ger ytterligare belägg för att enbart parameterräkning eller norm redovisning är alltför grov i att studera generalisering av djupa modeller, och planhet eller robusthet analys av modellparametrarna måste respektera nätverk arkitekturer. Efter träning, för ett givet lager d = 1,..., D, kan vi re-initalisera parametrarna genom uppdrag T d ← 0 d, samtidigt som parametrarna för de andra skikten förblir oförändrade. Modellen med parametrarna ( ska T 1,. .., utvärderas sedan. Om inget annat anges använder vi termen prestanda för att beteckna klassificeringsfel på testdata. Prestandan av ett nätverk i vilket lager d återinitierades kallas re-inialisering robusthet lager d. Observera att här 0 d betecknar de slumpmässiga värden som realiseras i början av utbildningen. Mer allmänt, för k tid steg 0 = τ 1 < τ 2 < · · · < τ k−1 < τ k = T, kan vi återinitiera d - th skiktet genom att ställa in T d ← ∂ τ d, och få re-initialization robusthet lager d efter τ uppdateringar. För att gå ett steg längre, vi undersöker också re-randomization av ett lager d genom att omsampling slumpmässiga värden på d P d och utvärdera modellens prestanda för ( ska T 1,. ..,  ska T d −1, ska d, T d +1,.... ..,  ska T D ).....,  till T D. )............ )................................................................................................. Analogt hänvisar vi till den utvärderade prestandan som re-randomization robusthet av lager d. Observera att det inte finns någon omskolning eller finjustering efter re-initialization eller re-randomization, och nätverket utvärderas direkt med blandade vikter. När ett nätverk uppvisar ingen eller försumbar minskning av prestandan efter omstart eller omrandomisering av ett lager, säger vi att lagret är robust, och annars kallas lagret kritiskt. I detta avsnitt studerar vi lager robusthet av vanligt använda neurala nätverk på standardbild klassificering riktmärken, särskilt MNIST, CIFAR10 och ImageNet. Alla nätverk utbildas med hjälp av SGD med Nesterov momentum, och bitvis konstant inlärningshastighet schema. Se bilaga A för ytterligare information.
I REF kan man till exempel också konstatera att skikten har heterogena egenskaper; i det fallet betecknas arbetsskikten antingen som "robust" eller "kritiska", och robusta lager kan till och med återställas till sitt ursprungliga värde utan några negativa konsekvenser.
Are All Layers Created Equal?
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Computer Science', 'Mathematics']}