Automatiserad design av neurala nätverk arkitekturer anpassade för en specifik uppgift är en extremt lovande, om än inneboende svårt, väg att utforska. De flesta resultat inom detta område har uppnåtts när det gäller bildklassificering och språkmodelleringsproblem, men här koncentrerar vi oss på täta perpixeluppgifter, särskilt semantisk bildsegmentering med hjälp av helt konvolutionella nätverk. Till skillnad från de ovan nämnda områdena kräver designvalen av ett fullständigt konvolutionsnätverk flera förändringar, allt från den typ av verksamhet som behöver användas-t.ex. utvidgade konvolutioner-till en lösning av ett svårare optimeringsproblem. I detta arbete är vi särskilt intresserade av att söka efter högpresterande kompakta segmenteringsarkitekturer som kan köras i realtid med begränsade resurser. För att uppnå detta överparameteriserar vi avsiktligt arkitekturen under träningstiden via en uppsättning hjälpceller som ger en mellanliggande övervakningssignal och som kan utelämnas under utvärderingsfasen. Utformningen av hjälpcellen avges av en controller, ett neuralt nätverk med den fasta strukturen tränas med hjälp av förstärkning lärande. Mer avgörande är att vi visar hur vi effektivt söker efter dessa arkitekturer inom begränsad tid och beräkningsbudgetar. Framför allt förlitar vi oss på en progressiv strategi som avslutar icke- lovarande arkitekturer från att bli vidareutbildade, och på ett genomsnitt av Polyak i kombination med kunskapsdestillering för att påskynda konvergensen. Kvantitativt, i 8 GPU-dagar vår strategi upptäcker en uppsättning av arkitekturer som utför på-par med toppmoderna bland kompakta modeller på semantiska segmentering, utgör uppskattning och djup förutsägelse uppgifter. Kod kommer att göras tillgänglig här: https://github.com/ drsleep/nas-segm-pytorch 9118
REF överparameterisera arkitekturen under utbildningen via en uppsättning hjälpceller med hjälp av förstärkningsinlärning.
Fast Neural Architecture Search of Compact Semantic Segmentation Models via Auxiliary Cells
{'venue': '2019 IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR)', 'journal': '2019 IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR)', 'mag_field_of_study': ['Computer Science']}