Bayesian optimering har blivit ett framgångsrikt verktyg för hyperparameteroptimering av maskininlärning algoritmer, såsom stöd vektor maskiner eller djupa neurala nätverk. Men det är fortfarande kostsamt om varje utvärdering av målet kräver utbildning och validering av den algoritm som optimeras, vilket för stora datamängder ofta tar timmar, dagar eller till och med veckor. För att påskynda hyperparameteroptimering föreslår vi en generativ modell för valideringsfelet som en funktion av träningssetets storlek, som lärs ut under optimeringsprocessen och möjliggör prospektering av preliminära konfigurationer på små undergrupper, genom extrapolering till hela datasetetet. Vi konstruerar en Bayesian optimeringsprocedur, dubbade FABOLAS, som modellerar förlust- och träningstid som en funktion av dataset storlek och automatiskt byter bort hög informationsvinst om den globala optimal mot beräkningskostnader. Experiment som optimerar stödvektormaskiner och djupa neurala nätverk visar att FABOLAS ofta hittar högkvalitativa lösningar 10 till 100 gånger snabbare än andra toppmoderna Bayesian optimeringsmetoder.
REF anses hyperparameteroptimering av maskininlärningsalgoritmer över en stor datauppsättning D. Om man antar tillgång till delmängder av D av godtyckliga storlekar, visar de hur man utnyttjar regelbundenheten av prestanda över datasetstorlekar för att avsevärt påskynda optimeringsprocessen för stöd vektormaskiner och neurala nätverk.
Fast Bayesian Optimization of Machine Learning Hyperparameters on Large Datasets
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Computer Science', 'Mathematics']}