Vi föreslår Effektiv Neural Architecture Search (ENAS), ett snabbt och billigt tillvägagångssätt för automatisk modelldesign. I ENAS upptäcker en controller neurala nätverksarkitekturer genom att söka efter en optimal subgraf inom en stor beräkningskurva. Styrenheten tränas med policygradient för att välja en subgraf som maximerar den förväntade belöningen på en valideringsuppsättning. Under tiden tränas den modell som motsvarar den valda subgrafen för att minimera en kanonisk korsentropiförlust. Delningsparametrar bland barnmodeller gör det möjligt för ENAS att leverera starka empiriska prestationer, samtidigt som man använder mycket färre GPU-timmar än befintliga automatiska modelldesignmetoder, och särskilt 1000x billigare än standard Neural Architecture Search. På Penn Treebanks dataset upptäcker ENAS en ny arkitektur som uppnår en test perplexitet på 55.8, vilket skapar en ny toppmodern teknik bland alla metoder utan behandling efter utbildningen. På CIFAR-10-datasetet hittar ENAS en ny arkitektur som uppnår 2,89% testfel, vilket är på samma nivå som NASNets testfel på 2,65% (Zoph et al., 2018).
Vi fokuserar på algoritmen Efficient Neural Architecture Search (ENAS) som presenteras av REF.
Efficient Neural Architecture Search via Parameter Sharing
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Computer Science', 'Mathematics']}