Hyperparametrar av djupa neurala nätverk är ofta optimerade genom rutnätssökning, slumpmässig sökning eller Bayesian optimering. Som ett alternativ föreslår vi att vi använder Covariance Matrix Adaptation Evolution Strategy (CMA-ES), som är känd för sin toppmoderna prestanda inom derivatfri optimering. CMA-ES har några användbara variance egenskaper och är vänlig mot parallella utvärderingar av lösningar. Vi tillhandahåller ett leksaksexempel som jämför CMA-ES och toppmoderna Bayesian optimeringsalgoritmer för att justera hyperparametrarna för ett konvolutionellt neuralt nätverk för MNIST-datauppsättningen på 30 GPUs parallellt. Hyperparametrar av djupa neurala nätverk (DNN) ofta optimeras genom rutnätssökning, slumpmässig sökning (Bergstra & Bengio, 2012) eller Bayesian optimering (Snoek et al., 2012a;. För optimering av kontinuerliga hyperparametrar är Bayesian optimering baserad på Gaussian processer (Rasmussen & Williams, 2006 ) känd som den mest effektiva metoden. Medan för gemensam struktursökning och hyperparameteroptimering, är trädbaserade Bayesian optimeringsmetoder (Hutter et al., 2011; Bergstra et al., 2011) kända för att prestera bättre (Bergstra et al.; Eggensperger et al., 2013; Domhan et al., 2015), här fokuserar vi på kontinuerlig optimering. Vi noterar att heltalsparametrar med ganska breda intervall (t.ex. antal filter) i praktiken kan anses bete sig som kontinuerliga hyperparametrar. Eftersom utvärderingen av en DNN hyperparameterinställning kräver montering av en modell och utvärdering av dess prestanda på valideringsdata, kan denna process vara mycket dyr, vilket ofta gör sekventiell hyperparameteroptimering på en enda datorenhet ogenomförbar. Tyvärr Bayesian optimering är sekventiell av naturen: medan en viss nivå av parallellisering är lätt att uppnå genom att konditionera beslut om förväntningar över flera hallucinerade prestandavärden för närvarande kör hyperparameter utvärderingar (Snoek et al., 2012a) eller genom att utvärdera optima av flera förvärv funktioner samtidigt (Hutter et al., 2012; Chevalier & Ginsbourger, 2013; Desautels et al., 2014) verkar perfekt parallellisering svårt att uppnå eftersom besluten i varje steg beror på alla datapunkter som samlats hittills. Här studerar vi användningen av en annan typ av derivatfri kontinuerlig optimeringsmetod där parallellism är tillåtet genom design. Covariance Matrix Adaptation Evolution Strategy (CMA-ES (Hansen & Ostermeier, 2001) ) är en toppmodern optimizer för kontinuerliga svart-box-funktioner. Medan Bayesian optimeringsmetoder ofta fungerar bäst för små funktionsutvärdering budgetar (t.ex., under 10 gånger antalet hyperparametrar som optimeras), CMA-ES tenderar att prestera bäst för större funktionsutvärdering budgetar; till exempel, Loshchilov et al. (2013) visade att CMA-ES presterade bäst bland mer än 100 klassiska och moderna optimatorer på ett brett utbud av blackboxfunktioner. CMA-ES har också använts för hyperparameterstämning innan, t.ex., för att ställa in sina egna Ranking SVM surrogatemodeller (Loshchilov et al., 2012) eller för automatisk taligenkänning (Watanabe & Le Roux, 2014). I ett nötskal är CMA-ES en iterativ algoritm, som i var och en av sina iterationer, prover λ kandidatlösningar från en multivariat normal distribution, utvärderar dessa lösningar (sekventiellt eller parallellt) och sedan justerar den provtagningsfördelning som används för nästa iteration för att ge högre sannolikhet för goda prover. (Eftersom utrymmesbegränsningar inte tillåter en fullständig beskrivning av CMA-ES hänvisar vi till Hansen & Ostermeier (2001) för detaljer.) Vanliga värden för den så kallade populationen storlek λ är runt 10 till 20; i studien vi rapporterar här, använde vi en större storlek λ = 30 för att dra full nytta av 30 GeForce GTX TITAN Black GPUs vi hade tillgängliga. Större värden av λ är också kända för att vara till hjälp för bullriga 1 arXiv:1604.07269v1 [cs.NE]
Loshchilov och Hutter REF föreslog en alternativ djup neural nätverk hyperparameter optimering istället för rutnätssökning, slumpmässig sökning, eller Bayesian optimering.
CMA-ES for Hyperparameter Optimization of Deep Neural Networks
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Computer Science']}