Vi presenterar vikt normalisering: en reparameterisering av viktvektorer i ett neuralt nätverk som frikopplar längden på dessa viktvektorer från deras riktning. Genom att omparameterisera vikterna på detta sätt förbättrar vi konditioneringen av optimeringsproblemet och vi påskyndar konvergensen av stokastisk lutning nedstigning. Vår reparameterisering är inspirerad av batch normalisering men introducerar inga beroenden mellan exemplen i en minibatch. Detta innebär att vår metod också kan tillämpas framgångsrikt på återkommande modeller som LSTMs och på bullerkänsliga applikationer såsom djup förstärkning lärande eller generativa modeller, för vilka batch normalisering är mindre väl lämpad. Även om vår metod är mycket enklare, ger det fortfarande mycket av upphastigheten av full batch normalisering. Dessutom är de beräkningsmässiga omkostnaderna för vår metod lägre, vilket gör det möjligt att ta fler optimeringssteg på samma tid. Vi demonstrerar nyttan av vår metod för applikationer i övervakad bildigenkänning, generativ modellering och djupt förstärkande lärande.
REF frikopplade ytterligare normen för viktvektorn från dess fas (riktning) samtidigt som man införde oberoenden mellan minibatchexempel, vilket resulterade i ett bättre optimeringsproblem.
Weight Normalization: A Simple Reparameterization to Accelerate Training of Deep Neural Networks
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Computer Science', 'Mathematics']}