Viktfall är ett av standardtricken i verktygslådan för neurala nätverk, men orsakerna till dess legaliseringseffekt är dåligt förstådda, och de senaste resultaten har kastat tvivel på den traditionella tolkningen i termer av L 2 legalisering. Bokstavlig vikt förfall har visat sig överträffa L 2 regularization för optimizers för vilka de skiljer sig. Vi undersöker empiriskt viktfall för tre optimeringsalgoritmer (SGD, Adam och K-FAC) och en mängd olika nätverksarkitekturer. Vi identifierar tre olika mekanismer genom vilka viktfall utövar en regulariseringseffekt, beroende på den specifika optimeringsalgoritmen och arkitekturen: (1) att öka den effektiva inlärningshastigheten, (2) att ungefär reglera inputoutput Jacobian norm, och (3) att minska den effektiva dämpningskoefficienten för andra ordningen optimering. Våra resultat ger insikt i hur man kan förbättra regulariseringen av neurala nätverk.
Nyligen, REF identifiera tre olika mekanismer genom vilka vikt förfall förbättrar generaliseringen: öka den effektiva inlärningshastigheten för BN, minska Jacobian norm, och minska den effektiva dämpning parametern.
Three Mechanisms of Weight Decay Regularization
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Computer Science', 'Mathematics']}