Hyper-parameter val är en avgörande men svårt problem i maskininlärning. För detta problem, derivatfri optimering har att spela en oersättlig roll. Men derivatfri optimering kräver ofta en hel del hyperparameter prover, medan varje prov kan ha en hög kostnad för hyper-parameter val på grund av den kostsamma utvärderingen av en inlärningsmodell. För att ta itu med denna fråga föreslår vi i detta dokument en erfaren optimeringsmetod, dvs. att lära sig hur man optimerar bättre från en uppsättning historiska optimeringsprocesser. Från de historiska optimeringsprocesserna på tidigare datauppsättningar tränas en riktningsmodell för att förutsäga riktningen för nästa goda hyperparameter. Den riktade modellen återanvänds sedan för att styra optimeringen vid inlärning av nya dataset. Vi implementerar denna mekanism inom en toppmodern derivatfri optimeringsmetod SRACOS, och utför experiment på att lära sig hyper-parametrar av heterogena ensembler och neurala nätverksarkitekturer. Experimentella resultat bekräftar att det föreslagna tillvägagångssättet avsevärt kan förbättra inlärningsnoggrannheten inom en begränsad urvalsbudget för hyperparameter.
REF föreslog en erfaren riktningsmodell som lärdes av de tidigare optimeringsprocesserna för att förutsäga optimeringsriktningen.
Experienced Optimization with Reusable Directional Model for Hyper-Parameter Search
{'venue': 'IJCAI', 'journal': None, 'mag_field_of_study': ['Computer Science']}