Konventionell neural arkitektur sökning (NAS) metoder bygger på förstärkning lärande eller evolutionär strategi, som tar mer än 3000 GPU timmar att hitta en bra modell på CIFAR-10. Vi föreslår en effektiv NAS-strategi för att lära sig söka efter lutningsnedstigning. Vårt tillvägagångssätt representerar sökytan som en riktad acyklisk graf (DAG). Denna DAG innehåller miljarder sub-grafer, som var och en indikerar en typ av neural arkitektur. För att undvika att traversera alla möjligheter av sub-graferna, utvecklar vi en differentiable sampler över DAG. Denna provtagare är inlärbar och optimerad av valideringsförlusten efter utbildning av den provtagna arkitekturen. På så sätt kan vårt tillvägagångssätt tränas på ett end-to-end-sätt genom lutningsnedstigning, som heter Gradient-baserad sökning med Differentiable Architecture Sampler (GDAS). I experiment kan vi avsluta en sökning på fyra GPU-timmar på CIFAR-10, och den upptäckta modellen får ett testfel på 2,82 % med endast 2,5M-parametrar, vilket är i nivå med toppmoderna.
Dong m.fl. REF sök efter cellerna genom att använda differentiable arkitektur sampler och minska sökkostnaden till 4 GPU-timmar.
Searching for a Robust Neural Architecture in Four GPU Hours
{'venue': '2019 IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR)', 'journal': '2019 IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR)', 'mag_field_of_study': ['Computer Science']}