Neurala nätverk är kraftfulla och flexibla modeller som fungerar bra för många svåra inlärningsuppgifter i bild, tal och naturligt språkförståelse. Trots deras framgång är neurala nätverk fortfarande svåra att designa. I detta papper använder vi ett återkommande nätverk för att generera modellbeskrivningar av neurala nätverk och träna denna RNN med förstärkning lärande för att maximera den förväntade noggrannheten hos de genererade arkitekturer på en valideringsuppsättning. På CIFAR-10-datasetet kan vår metod, med början från grunden, designa en ny nätverksarkitektur som konkurrerar med den bästa människouppfinnade arkitekturen när det gäller testuppsättningens noggrannhet. Vår CIFAR-10-modell uppnår en testfelfrekvens på 3,65, vilket är 0,09 procent bättre och 1,05x snabbare än den tidigare toppmoderna modellen som använde ett liknande arkitektoniskt system. På Penn Treebanks datauppsättning kan vår modell komponera en ny återkommande cell som överträffar den allmänt använda LSTM-cellen och andra toppmoderna baslinjer. Vår cell uppnår en testuppsättning på 62.4 perplexitet på Penn Treebank, vilket är 3,6 perplexitet bättre än den tidigare toppmoderna modellen. Cellen kan också överföras till teckenspråkets modelleringsuppgift på PTB och uppnå en toppmodern perplexitet på 1.214.
REF använde RNN för att automatiskt utforma en neural nätverksarkitektur.
Neural Architecture Search with Reinforcement Learning
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Computer Science', 'Mathematics']}