Batch Normalization (BN) är en milstolpe teknik i utvecklingen av djupt lärande, vilket gör det möjligt för olika nätverk att träna. Men normalisera längs batch dimension introducerar problem -BN fel ökar snabbt när batch storlek blir mindre, orsakas av felaktig batch statistik uppskattning. Detta begränsar BN:s användning för utbildning av större modeller och överföring av funktioner till datorseende uppgifter, inklusive upptäckt, segmentering och video, som kräver små partier som begränsas av minnesförbrukning. I detta dokument presenterar vi Group Normalization (GN) som ett enkelt alternativ till BN. GN delar upp kanalerna i grupper och beräknar inom varje grupp medelvärdet och variansen för normalisering. GN:s beräkning är oberoende av batchstorlekar, och dess noggrannhet är stabil i ett brett spektrum av batchstorlekar. På ResNet-50 tränas i ImageNet, GN har 10,6 % lägre fel än sin BN motsvarighet när man använder en satsstorlek på 2; när man använder typiska satsstorlekar, GN är jämförelsevis bra med BN och överträffar andra normaliseringsvarianter. Dessutom kan GN naturligt överföras från förutbildning till finjustering. GN kan överträffa sina BN-baserade motsvarigheter för objektdetektering och segmentering i COCO, 1 och för videoklassificering i Kinetics, vilket visar att GN effektivt kan ersätta den kraftfulla BN i en mängd olika uppgifter. GN kan enkelt implementeras med några rader kod i moderna bibliotek.
Gruppnormalisering (GN) REF delar olika kanalerna i grupper och beräknar inom varje grupp medelvärdet och variansen för normalisering.
Group Normalization
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Computer Science']}