Utbildning Deep Neural Networks kompliceras av att fördelningen av varje lagers ingångar förändras under träningen, eftersom parametrarna för de tidigare lagren förändras. Detta saktar ner utbildningen genom att kräva lägre inlärningstakt och noggrann parameter initialisering, och gör det notoriskt svårt att träna modeller med mättande icke-linjäritet. Vi hänvisar till detta fenomen som internt kovariat skifte, och ta itu med problemet genom att normalisera lageringångar. Vår metod tar sin styrka från att göra normalisering en del av modellen arkitektur och utföra normalisering för varje träning mini-batch. Batch Normalization tillåter oss att använda mycket högre inlärningsfrekvenser och vara mindre försiktig med initiering. Det fungerar också som en regularizer, i vissa fall eliminera behovet av avhopp. Basch Normalization tillämpas på en toppmodern bild klassificering modell, uppnår samma noggrannhet med 14 gånger färre träningssteg, och slår den ursprungliga modellen med en betydande marginal. Med hjälp av en ensemble av batchnormaliserade nätverk, vi förbättra på det bäst publicerade resultatet på ImageNet klassificering: nå 4,9% topp-5 valideringsfel (och 4,8% testfel), överstiger noggrannheten hos mänskliga taxrar.
Ioffe m.fl. REF normaliserade varje lageringångar för varje träningsmini-batch för att undvika internt kovariatskifte.
Batch Normalization: Accelerating Deep Network Training by Reducing Internal Covariate Shift
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Mathematics', 'Computer Science']}