För att minska den betydande redundansen i djupa Convolutional Neural Networks (CNNs), de flesta befintliga metoder beskär neuroner genom att endast beakta statistiken över ett enskilt skikt eller två på varandra följande lager (t.ex., beskära ett lager för att minimera återuppbyggnadsfelet i nästa lager), ignorera effekten av felutbredning i djupa nätverk. Däremot hävdar vi att för att ett bevattnat nätverk ska behålla sin prediktiva kraft, är det viktigt att beskära neuroner i hela neuronnätverket gemensamt baserat på ett enhetligt mål: minimera återuppbyggnadsfelet av viktiga svar i det "slutliga responsskiktet" (FRL), som är det andra tolastskiktet före klassificeringen. Specifikt, vi tillämpar funktion ranking tekniker för att mäta betydelsen av varje neuron i FRL, formulera nätverk beskärning som ett binärt heltal optimering problem, och härleda en sluten-form lösning till det för beskärning neuroner i tidigare lager. Baserat på vår teoretiska analys föreslår vi algoritmen Neuronviktighet Score Propagation (NISP) för att sprida betydelsen av poäng av slutliga svar till varje neuron i nätverket. CNN beskärs genom att ta bort neuroner med minst betydelse, och det finjusteras sedan för att återfå sin prediktiva kraft. NISP utvärderas på flera datauppsättningar med flera CNN-modeller och demonstreras för att uppnå signifikant acceleration och kompression med försumbar noggrannhetsförlust.
Yu m.fl. REF var inriktat på rekonstruktionsfelet i det sista skiktet före klassificeringen och uppskattade de mindre viktiga neuronerna i den bakåtutbredning av poängen som härleddes från felet.
NISP: Pruning Networks Using Neuron Importance Score Propagation
{'venue': '2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition', 'journal': '2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition', 'mag_field_of_study': ['Computer Science']}