Optimeringsalgoritmer för utbildning av djupa modeller påverkar inte bara konvergensgraden och stabiliteten i utbildningsprocessen, utan är också starkt relaterade till modellernas generaliseringsprestanda. Medan adaptiva algoritmer, såsom Adam och RMSprop, har visat bättre optimering prestanda än stokastisk lutning nedstigning (SGD) i många scenarier, leder de ofta till sämre generalisering prestanda än SGD, när de används för att träna djupa neurala nätverk (DNNs). I detta arbete identifierar vi två av Adams problem som kan försämra generaliseringens prestationer. Som lösning föreslår vi den normaliserade riktningsbevarande Adam-algoritmen (ND-Adam) som kombinerar det bästa av båda världarna, d.v.s. Adams goda optimeringsprestanda och SGD:s goda generaliseringsprestanda. Dessutom förbättrar vi ytterligare generaliseringen prestanda i klassificeringsuppgifter, genom att använda batch-normalized softmax. Denna studie tyder på att det behövs en mer exakt kontroll av DNN:s utbildningsprocess.
REF föreslog en normaliserad riktningsbevarande Adam (ND-Adam), som ändrar de adaptiva termerna från individuella dimensioner till hela lutningsvektorn.
Normalized Direction-preserving Adam
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Computer Science', 'Mathematics']}