Bayesian optimering har visats som en effektiv metod för global optimering av funktioner med dyra utvärderingar. Dess strategi bygger på att fråga en distribution över funktioner som definieras av en relativt billig surrogat modell. Förmågan att exakt modellera denna distribution över funktioner är avgörande för effektiviteten av Bayesian optimering, och är typiskt passar med Gaussian processer (GPs). Men eftersom GPs skala kubiskt med antalet observationer, har det varit utmanande att hantera mål vars optimering kräver ett stort antal utvärderingar, och som sådan, massivt parallellisera optimeringen. I detta arbete utforskar vi användningen av neurala nätverk som ett alternativ till Gaussiska processer för att modellera distributioner över funktioner. Vi visar att utföra adaptiv bas funktion regression med ett neuralt nätverk som parametrisk form utför konkurrenskraftigt med state-of-the-art GP-baserade metoder, men skalar linjärt med antalet data snarare än kubik. Detta gör att vi kan uppnå en tidigare oinskränkt grad av parallellism, som vi använder för att snabbt söka över stora utrymmen av modeller. Vi uppnår toppmoderna resultat på referensobjektigenkänningsuppgifter med hjälp av konvolutionella neurala nätverk, och bildtextgenerering med hjälp av multimodala neurala språkmodeller.
I ett annat arbete REF, författarna presenterade neurala nätverk som ett alternativ till Gaussian process för modellering distributioner över funktioner.
Scalable Bayesian Optimization Using Deep Neural Networks
{'venue': 'ICML', 'journal': None, 'mag_field_of_study': ['Mathematics', 'Computer Science']}