Djupa neurala nätverk med miljontals parametrar står i centrum för många toppmoderna maskininlärningsmodeller idag. På senare tid har det dock visat sig att modeller med mycket mindre antal parametrar också kan prestera lika bra. I detta arbete introducerar vi problemet med arkitektur-lärande, dvs. lära arkitekturen av ett neuralt nätverk tillsammans med vikter. Vi börjar med ett stort neuralt nätverk och lär oss sedan vilka neuroner vi ska beskära. I detta syfte introducerar vi en ny dressabel parameter kallad Tri-state ReLU, som hjälper till att beskära onödiga neuroner. Vi föreslår också en smidig regularizer som uppmuntrar det totala antalet neuroner efter eliminering att vara liten. Det resulterande målet är differentierat och enkelt att optimera. Vi validerar vår metod experimentellt på både små och stora nätverk och visar att den kan lära sig modeller med betydligt mindre antal parametrar utan att påverka förutsägelsenoggrannheten.
Srinivas et al. REF föreslog arkitekturinlärning, som försökte minimera det totala antalet neuroner i nätverket.
Learning Neural Network Architectures using Backpropagation
{'venue': 'BMVC 2016', 'journal': 'arXiv: Learning', 'mag_field_of_study': ['Mathematics', 'Computer Science']}