Utbildning av toppmoderna, djupa neurala nätverk är beräknings dyrt. Ett sätt att minska träningstiden är att normalisera nervcellernas aktiviteter. En nyligen införd teknik som kallas batch normalization använder fördelningen av den summerade inputen till en neuron över en mini-batch av träningsfall för att beräkna ett medelvärde och varians som sedan används för att normalisera den summerade inputen till den neuronen på varje träningsfall. Detta minskar träningstiden avsevärt i feedfore neurala nätverk. Effekten av batch normalisering är beroende av mini-batch storlek och det är inte uppenbart hur man tillämpar det på återkommande neurala nätverk. I detta papper införlivar vi batch normalisering till lager normalisering genom att beräkna medelvärdet och variansen som används för normalisering från alla de summerade ingångar till neuronerna i ett lager på ett enda träningsfall. Likt batch normalisering, vi ger också varje neuron sin egen adaptiv partiskhet och vinst som tillämpas efter normaliseringen men före den icke-linjäritet. Till skillnad från batch normalisering, lager normalisering utför exakt samma beräkning vid träning och testtider. Det är också enkelt att tillämpa på återkommande neurala nätverk genom att beräkna normaliseringsstatistiken separat vid varje steg. Lagernormalisering är mycket effektivt när det gäller att stabilisera den dolda tillståndsdynamiken i återkommande nätverk. Empiriskt visar vi att lagernormalisering avsevärt kan minska träningstiden jämfört med tidigare publicerade tekniker.
Lager normalisering å andra sidan använder samma inlärda parametrar β och γ för att normalisera alla noder i ett lager och normaliserar olika prover olika REF.
Layer Normalization
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Mathematics', 'Computer Science']}