Maskininlärningsalgoritmer kräver ofta noggrann inställning av modellhyperparametrar, legaliseringstermer och optimeringsparametrar. Tyvärr är denna inställning ofta en "svart konst" som kräver experterfarenhet, oskrivna tumregler, eller ibland brute-force sökning. Mycket mer tilltalande är tanken på att utveckla automatiska tillvägagångssätt som kan optimera prestandan hos en given inlärningsalgoritm till den uppgift som är närvarande. I detta arbete, anser vi att automatisk inställning problem inom ramen för Bayesian optimering, där en lärande algoritm generalisering prestanda modelleras som ett prov från en Gaussian process (GP). Den dragbara bakre distributionen inducerad av GP leder till effektiv användning av den information som samlats in av tidigare experiment, vilket möjliggör optimala val av vilka parametrar att prova nästa. Här visar vi hur effekterna av Gaussian processen före och tillhörande inference förfarande kan ha en stor inverkan på framgång eller misslyckande Bayesian optimering. Vi visar att genomtänkta val kan leda till resultat som överstiger expertnivå prestanda i tuning maskininlärning algoritmer. Vi beskriver också nya algoritmer som tar hänsyn till variabla kostnader (duration) för inlärningsförsök och som kan utnyttja förekomsten av flera kärnor för parallella experiment. Vi visar att dessa föreslagna algoritmer förbättras på tidigare automatiska förfaranden och kan nå eller överträffa mänsklig expertnivå optimering på en mängd olika samtida algoritmer inklusive latent Dirichlet tilldelning, strukturerade SVMs och konvolutionella neurala nätverk. 1. Vad är det för fel på dig? Inledning. Maskininlärningsalgoritmer är sällan parameterfria; vare sig via egenskaperna hos en regularizer, hyperprior av en generativ modell, eller stegstorleken av en gradient-baserad optimering, lärande förfaranden nästan alltid kräver en uppsättning av hög nivå val som avsevärt påverkar generalisering prestanda. Som utövare kan man vanligtvis specificera den allmänna ramen för en induktiv partiskhet mycket lättare än den särskilda viktning som den bör ha i förhållande till träningsdata. Som ett resultat av detta anses dessa parametrar på hög nivå ofta vara en olägenhet, vilket gör det önskvärt att utveckla algoritmer med så få av dessa "knober" som möjligt. Ett annat, mer flexibelt synsätt på denna fråga är att se optimeringen av parametrar på hög nivå som ett förfarande som ska automatiseras. Specifikt skulle vi kunna se sådan inställning som optimering av en okänd svart-box funktion som speglar generalisering prestanda och åberopa algoritmer som utvecklats för sådana problem. Dessa optimeringsproblem har en något annorlunda smak än de lågnivåmål man ofta möter som en del av ett träningsförfarande: här funktionsutvärderingar är mycket dyra, eftersom de innebär att köra den primära maskininlärning algoritm till slutförande. I denna miljö där funktionsutvärderingar är dyra, är det önskvärt att spendera beräkningstid att göra bättre val om var man ska söka de bästa parametrarna. Bayesian optimering (Mockus et al., 1978) ger en elegant strategi och har visat sig överträffa andra toppmoderna globala optimeringsalgoritmer på ett antal utmanande optimering referensfunktioner (Jones, 2001). För kontinuerliga funktioner fungerar Bayesian optimering normalt genom att anta att den okända funktionen provtogs från en
Bayesian närmar sig REF modell utvärderingsmått som prover från en Gaussian process vägledande optimal hyperparameter sökning.
Practical Bayesian Optimization of Machine Learning Algorithms
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Mathematics', 'Computer Science']}