Batch Normalization (BN) förbättrar både konvergens och generalisering i utbildning neurala nätverk. Detta verk förstår dessa fenomen teoretiskt. Vi analyserar BN genom att använda ett basblock av neurala nätverk, bestående av ett kärnlager, ett BN-lager och en icke-linjär aktiveringsfunktion. Detta grundläggande nätverk hjälper oss att förstå effekterna av BN i tre aspekter. Först, genom att titta på BN som en implicit regularizer, kan BN brytas ner i befolkningen normalisering (PN) och gamma sönderfall som en explicit regularisering. För det andra visar inlärningsdynamiken hos BN och legaliseringen att utbildningen konvergerade med stor maximal och effektiv inlärningstakt. För det tredje utforskas generaliseringen av BN med hjälp av statistisk mekanik. Experiment visar att BN i konvolutionella neurala nätverk delar samma egenskaper av legalisering som ovanstående analyser. * De tre första författarna bidrar lika mycket. Motsvarande pluo.empiriskt i ett nyligen utfört arbete (Morcos et al., 2018), men har inte fastställts analytiskt. (2) σ B minskar kurtosen i den ingående distributionen samt korrelationer mellan neuroner. (3) Regulariseringen styrkor av denna statistik är omvänt proportionellt till batch storlek M, vilket tyder på att BN med stora batch skulle minska generaliseringen. (4) Att avlägsna endera av μB och σB skulle kunna hindra konvergens och generalisering. • För det andra, genom att använda vanliga differentialekvationer (ODEs), Sec.3 visar att gammasönderfall gör det möjligt för nätverket tränat med BN att konvergera med stor maximal och effektiv inlärningshastighet, vilket leder till snabbare träningshastighet jämfört med nätverket tränas utan BN eller tränas med viktnormalisering (WN) (Salimans & Kingma, 2016) som är en motsvarighet till BN. • Tredje, Sec.4 jämför generalisering fel av BN, WN, och vanilj SGD med hjälp av statistisk mekanik. Den "storskaliga" regimen är av intresse, där antalet prover P och antalet neuroner N är båda stora men deras förhållande P/N är ändligt. I detta system kvantifieras generaliseringsfelen både analytiskt och empiriskt. Numeriska resultat i Sec.5 visar att BN i CNNs har samma egenskaper av legalisering som avslöjas av ovanstående analyser.
Detta beslut träder i kraft dagen efter det att det har offentliggjorts i Europeiska unionens officiella tidning. REF bröt ned BN i populationsnormalisering (PN) och gammasönderfall som en explicit legalisering, och hävdade att BN tillät större inlärningshastighet i utbildningsprocessen.
Towards Understanding Regularization in Batch Normalization
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Computer Science', 'Mathematics']}