Lagernormalisering (LayerNorm) är en teknik för att normalisera fördelningen av mellanlager. Den möjliggör smidigare lutningar, snabbare träning och bättre generaliseringsnoggrannhet. Det är dock fortfarande oklart varifrån effektiviteten kommer. I detta dokument är vårt viktigaste bidrag att ta ett steg längre i förståelsen av LayerNorm. Många av tidigare studier tror att framgången med LayerNorm kommer från framåt normalisering. Till skillnad från dem, finner vi att derivat av medelvärdet och variansen är viktigare än framåt normalisering genom om-centrering och omskalning bakåt gradienter. Dessutom finner vi att parametrarna i LayerNorm, inklusive partiskhet och vinst, ökar risken för övermontering och inte fungerar i de flesta fall. Experiment visar att en enkel version av LayerNorm (LayerNorm-enkel) utan fördomar och få överträffar LayerNorm på fyra datauppsättningar. Det får state-of-the-art prestanda på En-Vi maskin översättning. För att ta itu med problemet med övermontering föreslår vi en ny normaliseringsmetod, Adaptive Normalization (AdaNorm), genom att ersätta fördomar och vinst med en ny omvandlingsfunktion. Experiment visar att AdaNorm visar bättre resultat än LayerNorm på sju av åtta datauppsättningar. Bakåtlutade lutningar. Dessutom är det bortom vår förväntan att partiskheten och vinsten inte fungerar i de flesta fall. Detaljerna i våra slutsatser illustreras nedan. Derivat av medelvärdet och variansen är viktigare för LayerNorm än framåt normalisering. Många av de tidigare studierna anser att den framåtriktade normaliseringen är den enda avgörande faktorn för LayerNorm. Det gör distributionen av insatsvaror mer stabil, vilket leder till bättre konvergens. Till skillnad från dem, våra experimentella resultat visar att framåt normalisering har lite att göra med effektiviteten och derivat av medelvärdet och variansen spelar en betydande roll i LayerNorm. För att illustrera hur dessa derivat fungerar föreslår vi DetachNorm, som lägger till en ytterligare detaching operation till LayerNorm för att ändra medelvärdet och variansen från variabler till konstanter. Det bevarar om-centrering och omskalning faktum men skär bort derivatan av medelvärdet och varians med avseende på inmatningen. DetachNorm presterar värre än LayerNorm på sex av åtta datauppsättningar. Detta bevisar att derivat av medelvärdet och variansen är användbara för LayerNorm. Dessutom, för att undersöka orsaken till ovanstående observation, analyserar vi gradienterna i LayerNorm och DetachNorm, och finner att derivat av medel re-center gradienter och derivat av varianser re-skala gradienter. Parametrarna för LayerNorm, inklusive bias och vinst, ökar risken för övermontering och fungerar inte i de flesta fall. Fördelen och vinsten appliceras för affin transformation på normaliserade vektorer. De förväntas öka uttryckskraften genom att omforma distributionen. För att utvärdera deras effekter på resultaten bygger vi en enkel version av LayerNorm (LayerNorm-enkel) genom att ta bort fördomar och vinst. Våra experimentella resultat visar att LayerNorm-enkel uppnår bättre resultat än LayerNorm på fyra datauppsättningar. Det även uppnå state-of-the-art prestanda på En-Vi maskin översättning. Genom att jämföra förlustkurvor av LayerNorm med och utan fördomar och vinst, finner vi att fördomar och få orsaka överpassning. Vi spekulerar om anledningen till överpassning är främst att fördomar och vinster lär sig av träningssetet och inte kan justera sig mot olika indatafördelningar vid testning. Motiverade av detta antagande föreslår vi en ny normaliseringsmetod, Adaptiv Normalization (AdaNorm). AdaNorm ersätter fördomar och vinst med en ny omvandlingsfunktion. Den här funktionen justerar skalningsvikterna på ett adaptivt sätt baserat på ingångsvärden. Vi utvärderar AdaNorm och LayerNorm på åtta datauppsättningar som omfattar uppgifter som maskinöversättning, språkmodellering, textklassificering, bildklassificering och tolkning av beroende. Resultaten visar att AdaNorm uppnår bättre resultat på sju datauppsättningar.
Det senaste arbetet med Ref-studier varför LN hjälper till att utbilda, och i synnerhet det visar sig att LN-derivaten hjälper nyare och skala bakåt gradienter.
Understanding and Improving Layer Normalization
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Mathematics', 'Computer Science']}