Normaliseringstekniker har först nyligen börjat utnyttjas i övervakade inlärningsuppgifter. Batch normalisering utnyttjar mini-batch statistik för att normalisera aktiveringarna. Detta visade sig påskynda utbildningen och resultera i bättre modeller. Men dess framgång har varit mycket begränsad när det gäller återkommande neurala nätverk. Å andra sidan normaliserar lager normalisering aktiveringarna över alla aktiviteter inom ett lager. Detta visade sig fungera bra i den återkommande miljön. I detta dokument föreslår vi en enhetlig syn på normaliseringstekniker, som former av söndrande normalisering, som inkluderar lager- och satsnormalisering som specialfall. Vårt andra bidrag är konstaterandet att en liten förändring av dessa normaliseringsprogram, i kombination med en sparsam regularizer på aktiveringarna, leder till betydande fördelar jämfört med standard normalisering tekniker. Vi demonstrerar effektiviteten av vår enhetliga söndrande normaliseringsram i samband med konvolutionella neurala nät och återkommande neurala nätverk, visar förbättringar över baslinjer i bildklassificering, språkmodellering samt super-upplösning.
Division normalization REF föreslås från en enhetlig syn på normalisering, som inkluderar batch och lager normalisering som specialfall.
Normalizing the Normalizers: Comparing and Extending Network Normalization Schemes
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Mathematics', 'Computer Science']}