De senaste åren har man sett hur djupa neurala nätverk har lyckats hantera många praktiska problem. Dropout har spelat en viktig roll i många framgångsrika djupa neurala nätverk, genom att inducera legalisering i modellen utbildning. I detta dokument presenterar vi en ny reglerad utbildningsmetod: Shakeout. Istället för att slumpmässigt kasta enheter som Dropout gör på träningsstadiet, Shakeout slumpmässigt väljer att förbättra eller vända varje enhet bidrag till nästa lager. Denna mindre modifiering av Dropout har den statistiska egenskapen: den regularizer som induceras av Shakeout adaptivt kombinerar L 0, L 1 och L 2 legaliseringstermer. Våra klassificeringsexperiment med representativa djupa arkitekturer på bilddataset MNIST, CIFAR-10 och ImageNet visar att Shakeout hanterar övermontering effektivt och överträffar Dropout. Vi visar empiriskt att Shakeout leder till glesare vikter under både oövervakade och övervakade inställningar. Shakeout leder också till grupperingseffekten av inmatningsenheter i ett lager. Med tanke på vikten i att återspegla vikten av anslutningar, Shakeout är överlägsen Dropout, vilket är värdefullt för den djupa modellen kompression. Dessutom visar vi att Shakeout effektivt kan minska instabiliteten i den djupa arkitekturens utbildningsprocess. Index Terms-Shakeout, avhopp, legalisering, gleshet, djupa neurala nätverk Ç 0162-8828 ß
Kang m.fl. REF introducerar Shakeout som istället för att slumpmässigt kasta enheter som avhopp gör, det slumpmässigt förbättrar eller vänder varje enhet bidrag till nästa lager.
Shakeout: A New Approach to Regularized Deep Neural Network Training
{'venue': 'IEEE Transactions on Pattern Analysis and Machine Intelligence', 'journal': 'IEEE Transactions on Pattern Analysis and Machine Intelligence', 'mag_field_of_study': ['Medicine', 'Computer Science', 'Mathematics']}