Batch Normalization är ganska effektivt på att accelerera och förbättra utbildningen av djupa modeller. Effektiviteten minskar dock när träningsminibatcherna är små eller inte består av oberoende prover. Vi tror att detta beror på beroendet av modelllager indata på alla exempel i minibatch, och olika aktiveringar som produceras mellan utbildning och inferens. Vi föreslår Batch Renormalization, en enkel och effektiv förlängning för att säkerställa att utbildning och inference modeller genererar samma resultat som beror på enskilda exempel snarare än hela minibatch. Modeller tränade med Batch Renormalization presterar betydligt bättre än batchnorm vid träning med liten eller icke-i.i.d. Minibatcher. Samtidigt behåller Batch Renormalization fördelarna med batchnorm såsom okänslighet för initialisering och träning effektivitet.
Ioffe REF föreslår batch omnormalisering för att minska beroendet av mini-batcher i BatchNorm.
Batch Renormalization: Towards Reducing Minibatch Dependence in Batch-Normalized Models
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Computer Science', 'Mathematics']}