Trots överlägsna träningsresultat har adaptiva optimeringsmetoder som Adam, Adagrad eller RMSprop visat sig generalisera dåligt jämfört med Stochastic lutning nedstigning (SGD). Dessa metoder tenderar att fungera bra i den inledande delen av utbildningen men överträffas av SGD i senare skeden av utbildningen. Vi undersöker en hybridstrategi som börjar träna med en adaptiv metod och byter till SGD när så är lämpligt. Konkret föreslår vi SWATS, en enkel strategi som växlar från Adam till SGD när ett utlösande villkor är uppfyllt. Villkoret vi föreslår gäller projektionen av Adams steg på gradientens subrymd. Genom konstruktionen tillför övervakningsprocessen för detta tillstånd mycket lite overhead och ökar inte antalet hyperparametrar i optimizern. Vi rapporterar experiment på flera standardriktmärken såsom: ResNet, SENet, DenseNet och PyramidNet för CIFAR-10 och CIFAR-100 dataset, ResNet på den lilla-ImageNet dataset och språkmodellering med återkommande nätverk på PTB och WT2 dataset. Resultaten visar att vår strategi är kapabel att överbrygga generaliseringsklyftan mellan SGD och Adam på en majoritet av uppgifterna.
I sin tur föreslår REF att optimizern byts från Adam till SGD i slutet av utbildningen, för att skörda fördelarna med var och en av dem.
Improving Generalization Performance by Switching from Adam to SGD
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Mathematics', 'Computer Science']}