Bayesian Optimization (BO) avser en klass av metoder för global optimering av en funktion f som endast är tillgänglig via punktutvärderingar. Det används vanligtvis i inställningar där f är dyrt att utvärdera. Ett vanligt användningsområde för BO i maskininlärning är val av modell, där det inte är möjligt att analytiskt modellera en statistisk modells generaliseringsprestanda, och vi använder oss av bullriga och dyra utbildnings- och valideringsförfaranden för att välja den bästa modellen. Konventionella BO-metoder har fokuserat på euklideiska och kategoriska domäner, som, i samband med modellval, endast tillåter tuning av skaklar hyper-parametrar av maskininlärningsalgoritmer. Men med det ökade intresset för djupinlärning finns det en ökande efterfrågan på att stämma neurala nätverksarkitekturer. I detta arbete utvecklar vi NASBOT, en Gaussisk processbaserad BO ram för neural arkitektur sökning. För att åstadkomma detta utvecklar vi ett avståndsmått i utrymmet för neurala nätverksarkitekturer som kan beräknas effektivt via ett optimalt transportprogram. Detta avstånd kan vara av oberoende intresse för den djupa lärande gemenskapen eftersom det kan hitta tillämpningar utanför BO. Vi visar att NASBOT överträffar andra alternativ för arkitektursökning i flera korsvalideringsbaserade modellurvalsuppgifter på flerlagers perceptroner och konvolutionella neurala nätverk.
NASBOT REF modellerar arkitektursökningen som en Gaussisk process.
Neural Architecture Search with Bayesian Optimisation and Optimal Transport
{'venue': 'Neural Information Processing Systems (NeurIPS) 2018', 'journal': None, 'mag_field_of_study': ['Computer Science', 'Mathematics']}