Utnyttja nyligen införda begrepp från statistik och kvantitativ riskhantering, presenterar vi en allmän variant av Batch Normalization (BN) som erbjuder snabbare konvergens av Neural Network utbildning jämfört med konventionella BN. I allmänhet visar vi att medelvärde och standardavvikelse inte alltid är det lämpligaste valet för centrering och skalning inom BN-omvandlingen, särskilt om ReLU följer normaliseringssteget. Vi presenterar en Generalized Batch Normalization (GBN) transformation, som kan använda en mängd alternativa avvikelsemått för skalning och statistik för centrering, val som naturligt uppstår från teorin om generaliserade avvikelsemått och riskteori i allmänhet. När den underliggande riskteorin används i samband med ReLU-linjäritet tyder den på naturliga, utan tvekan optimala val för avvikelsemåttet och statistiken. Genom att använda den föreslagna avvikelsen mått och statistik, visar vi experimentellt att utbildningen påskyndas mer än med konventionella BN, ofta med förbättrad felfrekvens också. Sammantaget föreslår vi en mer flexibel BN-omvandling som stöds av ett kompletterande teoretiskt ramverk som potentiellt kan styra designval.
Generaliserad satsnormalisering REF undersöker en mängd alternativa avvikelsemått för skalning och alternativa medelmått för centrering.
Generalized Batch Normalization: Towards Accelerating Deep Neural Networks
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Mathematics', 'Computer Science']}