Under de senaste åren har Batch-Normalization ofta använts i djupa nätverk, vilket möjliggör snabbare utbildning och hög prestanda för en mängd olika applikationer. Orsakerna till dess förtjänster förblev dock obesvarade, med flera brister som hindrade dess användning för vissa uppgifter. I detta arbete presenterar vi en ny syn på syftet med och funktionen hos normaliseringsmetoder och viktminskning, som verktyg för att koppla loss vikternas norm från det underliggande optimerade målet. Denna egenskap belyser sambandet mellan metoder som normalisering, vikt förfall och justeringar av inlärningsgraden. Vi föreslår flera alternativ till den allmänt använda L 2 batch-norm, med hjälp av normalisering i L 1 och L ∞ utrymmen som avsevärt kan förbättra numerisk stabilitet i låg precision implementationer samt ge beräknings- och minnesfördelar. Vi visar att sådana metoder gör det möjligt för det första batch-normalternativet att fungera för halvprecisionsimplementeringar. Slutligen föreslår vi en ändring av viktnormalisering, vilket förbättrar dess prestanda på storskaliga uppgifter.
I stället för standard normalisering av L 2 tillverkningssats använder REF normalisering i L 1 och L ∞ utrymmen, och visar att kan förbättra numerisk stabilitet i lågprecision implementationer samt ge beräknings- och minnesfördelar.
Norm matters: efficient and accurate normalization schemes in deep networks
{'venue': 'NeurIPS2018', 'journal': None, 'mag_field_of_study': ['Computer Science', 'Mathematics']}