Omstartstekniker är vanliga i gradientfri optimering för att hantera multimodala funktioner. Partiella varma omstarter blir också allt populärare i gradientbaserad optimering för att förbättra konvergenshastigheten i accelererade gradientsystem för att hantera okonditionerade funktioner. I detta papper föreslår vi en enkel varm omstart teknik för stokastisk lutning nedstigning för att förbättra sin när som helst prestanda när du tränar djupa neurala nätverk. Vi studerar empiriskt dess resultat på CIFAR-10- och CIFAR-100-datauppsättningarna, där vi visar nya toppmoderna resultat på 3,14 % respektive 16,21 %. Vi demonstrerar också dess fördelar på en datauppsättning av EEG-inspelningar och på en nedsumpad version av ImageNet-datasetet. Vår källkod finns på https://github.com/loshchil/SGDR
Dessa erhålls ganska effektivt via Stochastic Gradient Descent med varma restarter (SGDR) REF.
SGDR: Stochastic Gradient Descent with Warm Restarts
{'venue': None, 'journal': None, 'mag_field_of_study': ['Computer Science', 'Mathematics']}