Layer-sequential unit-variance (LSUV) initiering - en enkel metod för vikt initiering för djup nettoinlärning - föreslås. Metoden består av de två stegen. Först, förinitiera vikter för varje konvolution eller inre produktskikt med ortonormala matriser. För det andra, gå från det första till det sista lagret, normalisera variansen av utgången av varje lager att vara lika med ett. Experiment med olika aktiveringsfunktioner (maxout, ReLU-familj, tanh) visar att den föreslagna initieringen leder till inlärning av mycket djupa nät som (i) producerar nätverk med testnoggrannhet bättre eller lika med standardmetoder och (ii) är minst lika snabb som de komplexa system som föreslås specifikt för mycket djupa nät som FitNets (Romero et al. (2015) och Highway (Srivastava et al. (2015)................................................................................................................ Prestanda utvärderas på GoogLeNet, CaffeNet, FitNets och Residual nät och state-of-the-art, eller mycket nära det, uppnås på MNIST, CIFAR-10/100 och ImageNet dataset.
LSUV initieringsmetod REF föreslås som inte bara drar nytta av ortonormalitet utan också använder sig av enhetsvariansen av varje lagers utdata.
All you need is a good init
{'venue': 'ICLR 2016', 'journal': 'arXiv: Learning', 'mag_field_of_study': ['Computer Science', 'Mathematics']}