Automatisk neural arkitektur har visat sin potential att upptäcka kraftfulla neurala nätverksarkitekturer. Befintliga metoder, oavsett om de är baserade på förstärkande inlärning eller evolutionära algoritmer (EA), genomför arkitektursökning i ett diskret utrymme, vilket är mycket ineffektivt. I detta papper föreslår vi en enkel och effektiv metod för automatisk neural arkitektur design baserad på kontinuerlig optimering. Vi kallar denna nya metod neural arkitektur optimering (NAO). Det finns tre viktiga komponenter i vårt föreslagna tillvägagångssätt: (1) En kodare bäddar / kartor neurala nätverk arkitekturer i ett kontinuerligt utrymme. (2) En prediktor tar kontinuerlig representation av ett nätverk som ingång och förutspår dess noggrannhet. (3) En avkodare kartlägger en kontinuerlig representation av ett nätverk tillbaka till sin arkitektur. Prestandaprediktorn och kodaren gör det möjligt för oss att utföra gradientbaserad optimering i det kontinuerliga utrymmet för att hitta inbäddningen av en ny arkitektur med potentiellt bättre noggrannhet. En sådan bättre inbäddning avkodas sedan till ett nätverk av kodaren. Experiment visar att arkitekturen som upptäckts med vår metod är mycket konkurrenskraftig för bildklassificeringsuppgift på CIFAR-10 och språkmodellering uppgift på PTB, outperforming eller i par med de bästa resultaten av tidigare arkitektursökmetoder med en betydande minskning av beräkningsresurser. Speciellt får vi 2,11% testuppsättning felfrekvens för CIFAR-10 bildklassificering uppgift och 56,0 testuppsättning perplexitet av PTB språkmodellering uppgift. De mest upptäckta arkitekturerna för båda uppgifterna överförs framgångsrikt till andra uppgifter som CIFAR-100 och WikiText-2. I kombination med den nyligen föreslagna viktdelningsmekanismen upptäcker vi dessutom kraftfull arkitektur på CIFAR-10 (med felfrekvens 3,53 %) och på PTB (med testuppsättning perplexitet 56,6), med mycket begränsade beräkningsresurser (mindre än 10 GPU-timmar) för båda uppgifterna.
Mer nyligen, Luo et al. Föreslå neural arkitekturoptimering (NAO) REF-metoden för att utföra arkitektursökningen på kontinuerligt utrymme genom att utnyttja teknik för kodning-avkodning.
Neural Architecture Optimization
{'venue': 'NeurIPS', 'journal': None, 'mag_field_of_study': ['Computer Science', 'Mathematics']}