Batch normalization (BN) är mycket effektivt för att påskynda konvergensen av en neural nätverk utbildning fas att det har blivit en vanlig praxis. Vi föreslår en generalisering av BN, den minskande batch normalization (DBN) algoritm. Vi tillhandahåller en analys av konvergensen av DBN algoritm som konvergerar till en stationär punkt med avseende på utbildningsbara parametrar. Vi analyserar en tvåskiktsmodell med linjär aktivering. Den största utmaningen med analysen är att vissa parametrar uppdateras efter gradient medan andra inte är det. I de numeriska experimenten använder vi modeller med fler lager och ReLU-aktivering. Vi observerar att DBN överträffar den ursprungliga BN algoritmen på MNIST, NI och CIFAR-10 dataset med rimliga komplexa FNN och CNN modeller.
Nya teoretiska studier av BN inkluderar REF, där författarna föreslog en variant av BN, den minskande batch normalization (DBN) algoritm och analyserade konvergensen av DBN algoritm, visar att det konvergerar till en stationär punkt av förlustfunktionen.
Convergence Analysis of Batch Normalization for Deep Neural Nets
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Computer Science']}