Medan författarna till Batch Normalization (BN) identifiera och ta itu med ett viktigt problem som ingår i utbildning djupa nätverk-Internal Covariate Shift-den nuvarande lösningen har vissa nackdelar. Särskilt beror BN på batchstatistik för lagervis normalisering av indata under träning, vilket gör uppskattningarna av medelvärde och standardavvikelse för indata (fördelning) till dolda lager felaktiga för validering på grund av ändrade parametervärden (särskilt under inledande träningsperioder). BN kan inte heller användas med satsstorlek 1 under träningen. Vi tar itu med dessa nackdelar genom att föreslå en icke adaptiv normaliseringsteknik för att ta bort internt kovariatskifte, som vi kallar Normalization Propagation. Vårt tillvägagångssätt är inte beroende av batchstatistik, utan använder snarare en dataoberoende parametrisk uppskattning av medelvärde och standardavvikelse i varje lager, vilket är att beräkna snabbare jämfört med BN. Vi utnyttjar observationen att föraktiveringen innan rektifierade linjära enheter följer Gaussian distribution i djupa nätverk, och att när den första och andra ordningen statistik av någon given datauppsättning normaliseras, kan vi vidarebefordra propagera denna normalisering utan att behöva räkna om den ungefärliga statistiken för dolda lager.
För att minska detta problem använder normaliseringsutbredning REF en dataoberoende parametrisk uppskattning av medelvärdet och standardavvikelsen i stället för att explicit beräkna från data.
Normalization Propagation: A Parametric Technique for Removing Internal Covariate Shift in Deep Networks
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Computer Science', 'Mathematics']}