Vi ger en enkel, snabb algoritm för hyperparameteroptimering inspirerad av tekniker från analysen av Booleska funktioner. Vi fokuserar på det högdimensionella systemet där det kanoniska exemplet är att träna ett neuralt nätverk med ett stort antal hyperparametrar. Den algoritm-en iterativ tillämpning av komprimerade avkänningsmetoder för ortogonala polynom-kräver endast enhetlig provtagning av hyperparametrarna och är därmed lätt parallelliserbara. Experiment för att träna djupa nät på Cifar-10 visar att jämfört med toppmoderna verktyg (t.ex. Hyperband och Spearmint) hittar vår algoritm betydligt förbättrade lösningar, i vissa fall motsvarande vad som är möjligt att uppnå genom hand-tuning. När det gäller total körtid (dvs. tid som krävs för att prova olika inställningar av hyperparametrar plus ytterligare beräkningstid), är vi åtminstone en storleksordning snabbare än Hyperband och ännu mer jämfört med Bayesian Optimization. Vi överträffar också Random Search 5×. Dessutom kommer vår metod med bevisbara garantier och ger den första kvasipolynom tid algoritm för att lära beslut träd under den enhetliga fördelningen med polynom prov komplexitet, den första förbättringen på över två decennier.
Algoritmen kräver endast enhetlig provtagning av hyperparametrarna och är lätt parallelliserbara REF.
Hyperparameter Optimization: A Spectral Approach
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Computer Science', 'Mathematics']}