Batch normalisering (BN) har blivit en de facto standard för utbildning djupa konvolutionella nätverk. BN står dock för en betydande del av träningstiden och är svårt att accelerera, eftersom det är minne-bandbredd avgränsad. En sådan nackdel med BN motiverar oss att utforska nyligen föreslagna viktnormaliseringsalgoritmer (WN algoritmer), dvs.. Vikt normalisering, normalisering förökning, och vikt normalisering med översatt ReLU. Dessa algoritmer saktar inte ner utbildning iterationer och har experimentellt visat sig överträffa BN på relativt små nätverk och dataset. Det är dock inte klart om dessa algoritmer kan ersätta BN i storskaliga tillämpningar. Vi besvarar denna fråga genom att ge en detaljerad jämförelse av BN och WN algoritmer med hjälp av ResNet-50 nätverk utbildad på ImageNet. Vi fann att även om WN uppnår bättre träningsnoggrannhet, är den slutliga testnoggrannheten betydligt lägre (6 %) än BN. Detta resultat visar den överraskande styrkan i BN legalisering effekt som vi inte kunde kompensera med hjälp av standard legalisering tekniker som avhopp och vikt förfall. Vi fann också att utbildningen med WN-algoritmer är betydligt mindre stabil jämfört med BN, vilket begränsar deras praktiska tillämpningar.
REF jämförde experimentellt BN och WN, och bekräftade också en bättre generalisering av BN.
Comparison of Batch Normalization and Weight Normalization Algorithms for the Large-scale Image Classification
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Computer Science']}