Artificiella neurala nätverk har gått igenom en nyligen ökande popularitet, uppnå state-of-the-art resultat inom olika områden, inklusive bildklassificering, taligenkänning och automatiserad kontroll. Både prestanda och beräknings komplexitet av sådana modeller är starkt beroende av utformningen av karakteristiska hyper-parametrar (t.ex., antal dolda lager, noder per lager, eller val av aktiveringsfunktioner), som traditionellt har optimerats manuellt. Med maskininlärning genomträngande låg effekt mobila och inbyggda områden, behovet av att optimera inte bara för prestanda (noggrannhet), men också för genomförandet komplexitet, blir avgörande. I detta arbete presenterar vi en multi-objektiv design rymdprospekteringsmetod som minskar antalet lösningsnätverk utbildade och utvärderade genom respons ytmodellering. Med tanke på utrymmen som lätt kan överstiga 10 20 lösningar är det osannolikt att man manuellt utformar en nästan optimal arkitektur eftersom man kan förbise möjligheterna att minska nätverkskomplexiteten, samtidigt som prestandan upprätthålls. Detta problem förvärras av det faktum att hyperparametrar som fungerar bra på specifika datauppsättningar kan ge del-par resultat på andra, och därför måste utformas per tillämpning. I vårt arbete utnyttjas maskininlärning genom att utbilda ett artificiellt neuralt nätverk för att förutsäga prestanda för framtida kandidatnätverk. Metoden utvärderas på bilddatauppsättningarna MNIST och CIFAR-10, och optimeras för både igenkänningsnoggrannhet och beräkningskomplexitet. Experimentella resultat visar att den föreslagna metoden kan nära approximera Pareto-optimal front, samtidigt som man bara utforskar en liten del av designutrymmet.
I REF presenteras en multiobjektiv utforskning av rymden med beaktande av inte bara klassificeringsnoggrannheten utan även beräkningskostnaden.
Neural networks designing neural networks: multi-objective hyper-parameter optimization
{'venue': "ICCAD '16", 'journal': None, 'mag_field_of_study': ['Computer Science']}