I djupt lärande påverkas prestanda starkt av valet av arkitektur och hyperparametrar. Även om det har varit omfattande arbete med automatisk hyperparameteroptimering för enkla utrymmen, är komplexa utrymmen som utrymmet för djupa arkitekturer fortfarande i stort sett outforskade. Som ett resultat, valet av arkitektur görs manuellt av den mänskliga experten genom en långsam försöks- och felprocess som främst styrs av intuition. I det här dokumentet beskriver vi ett ramverk för automatisk design och träning av djupa modeller. Vi föreslår ett extensibelt och modulärt språk som gör det möjligt för den mänskliga experten att på ett kompakt sätt representera komplexa sökytor över arkitekturer och deras hyperparametrar. De resulterande sökytorna är trädstrukturerade och därför lätta att korsa. Modeller kan automatiskt sammanställas till beräkningsdiagram när värden för alla hyperparametrar har valts. Vi kan utnyttja strukturen i sökutrymmet för att införa olika modellsökalgoritmer, såsom slumpmässig sökning, Monte Carlo trädsökning (MCTS) och sekventiell modellbaserad optimering (SMBO). Vi presenterar experiment som jämför de olika algoritmerna på CIFAR-10 och visar att MCTS och SMBO överträffar slumpmässig sökning. Dessutom visar dessa experiment att vårt ramverk kan användas effektivt för att upptäcka modeller, eftersom det är möjligt att beskriva uttrycksfulla sökytor och upptäcka konkurrenskraftiga modeller utan någon större ansträngning från den mänskliga experten. Koden för vårt ramverk och våra experiment har gjorts allmänt tillgänglig.
Negrinho m.fl. REF: DeepArchitect tillhandahåller ett ramverk för automatisk design och träning av djupa modeller.
DeepArchitect: Automatically Designing and Training Deep Architectures
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Mathematics', 'Computer Science']}