Vi noterar att vanliga implementationer av adaptiva gradientalgoritmer, såsom Adam, begränsar den potentiella nyttan av regularisering av viktförfall, eftersom vikterna inte sönderfaller multiplikativt (som man kan förvänta sig för standardviktförfall) utan genom en additiv konstant faktor. Vi föreslår ett enkelt sätt att lösa denna fråga genom att frikoppla vikt förfall och de optimering steg som vidtagits w.r.t. förlustfunktionen. Vi ger empiriska belägg för att vår föreslagna ändring (i) frikopplar det optimala valet av viktsönderfallsfaktor från fastställandet av inlärningsgraden för både standard SGD och Adam, och (ii) avsevärt förbättrar Adams generaliseringsprestanda, vilket gör det möjligt för den att konkurrera med SGD med momentum på bildklassificeringsdata (som den tidigare typiskt överträffades av den senare). Vi visar också att längre optimeringskörningar kräver mindre viktfallvärden för optimala resultat och inför en normaliserad variant av viktfall för att minska detta beroende. Slutligen föreslår vi en version av Adam med varma omstarter (AdamWR) som har stark när som helst prestanda samtidigt som man uppnår toppmoderna resultat på CIFAR-10 och ImageNet32x32. Vår källkod finns på https://github.com/loshchil/AdamW-and-SGDW
Loshchilov m.fl. REF föreslog AdamW, som frikopplar viktminskningsbegreppet från Adams uppdateringsregel, och visade att det uppnår prestanda liknande den för mSGD.
Fixing Weight Decay Regularization in Adam
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Computer Science', 'Mathematics']}