Vi föreslår Stochastic Neural Architecture Search (SNAS), en ekonomisk endto-end-lösning till Neural Architecture Search (NAS) som tränar neurala driftsparametrar och arkitekturfördelningsparametrar i samma omgång backpropagation, samtidigt som NAS-ledningens fullständighet och differentiering upprätthålls. I detta arbete omformuleras NAS-enheten som ett optimeringsproblem för parametrar för en gemensam distribution för sökutrymmet i en cell. För att utnyttja gradientinformationen i allmän differentialförlust för arkitektursökning föreslås en ny sökgradient. Vi bevisar att denna sökgradient optimerar samma mål som en förstärkningsbaserad NAS, men tilldelar tillgodohavanden till strukturella beslut mer effektivt. Detta kredituppdrag utökas ytterligare med lokalt nedbrytbar belöning för att genomdriva en resurseffektiv begränsning. I experiment på CIFAR-10 tar SNAS färre epoker för att hitta en cellarkitektur med hjärtats tillståndsnoggrannhet än icke-differentiable evolutionsbaserad och förstärkningsbaserad NAS, som också går att överföra till ImageNet. Det visas också att barnnätverk av SNAS kan upprätthålla valideringsnoggrannheten i sökningen, med vilken uppmärksamhetsbaserade NAS-enheter kräver parameteromskolning för att konkurrera, vilket ger möjligheter att gå mot effektiva NAS-enheter på stora datauppsättningar.
SNAS REF optimerar parametrar för en gemensam distribution för sökytan i en cell.
SNAS: Stochastic Neural Architecture Search
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Computer Science', 'Mathematics']}