Layer normalization (LayerNorm) har framgångsrikt applicerats på olika djupa neurala nätverk för att hjälpa till att stabilisera utbildning och öka modellkonvergens på grund av dess förmåga att hantera re-centrering och omskalning av både ingångar och viktmatris. De beräkningsmässiga omkostnader som införts av LayerNorm gör dock dessa förbättringar dyra och fördröjer avsevärt det underliggande nätet, t.ex. Särskilt RNN. I detta papper, vi hypotes storlek att om-centrera invarians i LayerNorm är dispensable och föreslå roten medel fyrkantiga lager normalisering, eller RMSNorm. RMSNorm regulariserar de summerade ingångarna till en neuron i ett lager enligt rotmedel kvadrat (RMS), vilket ger modellen omskalning invarians egenskap och implicit inlärningshastighet anpassningsförmåga. RMSNorm är beräkningsmässigt enklare och därmed effektivare än LayerNorm. Vi presenterar även partiell RMSNorm, eller pRMSNorm där RMS uppskattas från p% av de summerade ingångarna utan att bryta ovanstående egenskaper. Omfattande experiment på flera uppgifter med olika nätverksarkitekturer visar att RMSNorm uppnår jämförbar prestanda mot LayerNorm men minskar körtiden med 7 % och 64 % på olika modeller. Källkod finns på https://github.com/bzhangGo/rmsnorm.
Till exempel föreslår REF RMSNorm, som tar bort den om-centrerande invarianten i LN och utför omskalning invarians med roten medel kvadrat summerad av ingångarna.
Root Mean Square Layer Normalization
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Mathematics', 'Computer Science']}