I detta dokument föreslår vi Weight Standardization (WS) för att påskynda deep network training. WS riktar sig till den micro-batch träningsmiljö där varje GPU normalt bara har 1-2 bilder för träning. Mikro-batch träning inställning är svårt eftersom små batch storlekar är inte tillräckligt för utbildning nätverk med Batch Normalization (BN), medan andra normaliseringsmetoder som inte förlitar sig på batch kunskap fortfarande har svårt att matcha prestanda BN i stor batch utbildning. Vårt WS avslutar detta problem eftersom när det används med Grupp Normalisering och tränas med 1 bild / GPU, WS kan matcha eller överträffa prestanda BN tränas med stora batch storlekar med bara 2 fler rader kod. Vid micro-batch träning överträffar WS betydligt andra normaliseringsmetoder. WS uppnår dessa överlägsna resultat genom att standardisera vikterna i de konvolutionella skikten, som vi visar kan jämna ut förlustlandskapet genom att minska Lipschitz-konstanterna av förlusten och lutningarna. Effekten av WS verifieras på många uppgifter, inklusive bildklassificering, objektdetektering, instanssegmentering, videoigenkänning, semantisk segmentering och punktmolnsigenkänning. Koden finns här: https://github.com/joe-siyuan-qiao/WightStandardization.
Viktstandardisering (WS) REF antar Z-poäng standardisering för att omparameterize viktvektorer.
Weight Standardization
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Computer Science']}