Nyligen har det funnits ett växande intresse för att automatisera processen för neural arkitektur design, och Differentiable Architecture Search (DARTS) metod gör processen tillgänglig inom några GPU dagar. I synnerhet introduceras ett hypernätverk som kallas en-shot modell, över vilket arkitekturen kan sökas kontinuerligt med lutning nedstigning. DARTS prestation ses dock ofta som kollaps när antalet sökperioder blir stort. Samtidigt finns massor av "hopp-anslutningar" i de valda arkitekturerna. I detta dokument hävdar vi att orsaken till kollapsen är att det finns samarbete och konkurrens i tvånivåoptimeringen i DARTS, där arkitekturparametrarna och modellvikterna uppdateras alternativt. Därför föreslår vi en enkel och effektiv algoritm, som heter "DARTS+", för att undvika kollapsen och förbättra den ursprungliga DARTS, genom att "tidigt stoppa" sökproceduren när man uppfyller ett visst kriterium. Vi visar att det föreslagna kriteriet för ett tidigt stopp är effektivt när det gäller att undvika problemet med kollaps. Vi utför också experiment på referensdatauppsättningar och visar effektiviteten hos vår DARTS+ algoritm, där DARTS+ uppnår 2,32% testfel på CIFAR10, 14,87% på CIFAR100 och 23,7% på ImageNet. Vi noterar vidare att idén om "tidigt stopp" implicit ingår i vissa befintliga DARTS-varianter genom att manuellt ställa in ett litet antal sökperioder, medan vi ger ett uttryckligt kriterium för "tidigt stopp".
Aggregering av hoppa anslutningar i DARTS har märkts av många [5, REF 2, 32].
DARTS+: Improved Differentiable Architecture Search with Early Stopping
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Computer Science']}