Moderna djupt lärande metoder är mycket känsliga för många hyperparametrar, och, på grund av de långa träningstider av state-of-the-art modeller, vanilj Bayesian hyperparameter optimering är typiskt beräkningsfel. Å andra sidan saknar banditbaserade konfigurationsutvärderingsmetoder baserade på slumpmässig sökning vägledning och konvergerar inte så snabbt till de bästa konfigurationerna. Här föreslår vi att vi kombinerar fördelarna med både Bayesian optimering och banditbaserade metoder, för att uppnå det bästa av båda världarna: stark när som helst prestanda och snabb konvergens till optimala konfigurationer. Vi föreslår en ny praktisk toppmodern hyperparameteroptimeringsmetod, som konsekvent överträffar både Bayesian optimering och Hyperband på ett brett spektrum av problemtyper, inklusive högdimensionella leksaksfunktioner, stödja vektormaskiner, feed-forward neurala nätverk, Bayesian neurala nätverk, djup förstärkning inlärning och konvolutionella neurala nätverk. Vår metod är robust och mångsidig, samtidigt som den är konceptuellt enkel och enkel att implementera.
I ett senaste arbete kombinerar REF fördelarna med BO och Hyperband för att uppnå snabb konvergens till optimal konfiguration.
BOHB: Robust and Efficient Hyperparameter Optimization at Scale
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Mathematics', 'Computer Science']}