Toppmoderna neurala nätverk blir djupare och bredare. Medan deras prestanda ökar med det ökande antalet lager och neuroner, är det viktigt att utforma en effektiv djup arkitektur för att minska kostnaderna för beräkning och minne. Att utforma ett effektivt neuralt nätverk, dock, är arbetsintensivt kräver många experiment, och finjustering. I detta papper introducerar vi nät trimning som iterativt optimerar nätverket genom att beskära oviktiga neuroner baserat på analys av deras utgångar på en stor datauppsättning. Vår algoritm är inspirerad av en observation att utdata från en betydande del av neuroner i ett stort nätverk mestadels är noll, oavsett vilka ingångar nätverket fått. Dessa noll aktiveringsneuroner är redundanta, och kan tas bort utan att påverka den totala noggrannheten i nätverket. Efter beskärning noll aktiveringsneuroner, vi omskola nätverket med hjälp av vikterna innan beskärning som initiering. Vi växlar beskärning och omskolning för att ytterligare minska noll aktiveringar i ett nätverk. Våra experiment på LeNet och VGG-16 visar att vi kan uppnå hög kompressionskvot av parametrar utan att förlora eller ens uppnå högre noggrannhet än det ursprungliga nätverket.
Omskolningsmetoder: I REF föreslås att neuroner beskärs baserat på deras genomsnittliga andel nollor aktiveringar.
Network Trimming: A Data-Driven Neuron Pruning Approach towards Efficient Deep Architectures
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Computer Science']}