Strukturell beskärning av neurala nätverksparametrar minskar kostnaderna för beräkning, energi och minnesöverföring under inferens. Vi föreslår en ny metod som uppskattar bidraget från en neuron (filter) till den slutliga förlusten och iterativt avlägsnar de med mindre poäng. Vi beskriver två varianter av vår metod med hjälp av den första och andra ordningen Taylor expansioner för att approximera ett filters bidrag. Båda metoderna skala konsekvent över alla nätverkslager utan att kräva känslighetsanalys per lager och kan tillämpas på alla typer av lager, inklusive hoppa anslutningar. För moderna nätverk som utbildats på ImageNet mätte vi experimentellt en hög (>93 %) korrelation mellan det bidrag som beräknats av våra metoder och en tillförlitlig uppskattning av den verkliga betydelsen. Beskärning med de föreslagna metoderna leder till en förbättring jämfört med den senaste tekniken när det gäller noggrannhet, FLOP och parameterminskning. På ResNet-101, uppnår vi en 40% FLOPS minskning genom att ta bort 30% av parametrarna, med en förlust på 0,02% i topp-1 noggrannhet på ImageNet. Koden finns på
På senare tid har REF visat den höga korrelationen mellan betydelsens approximation till en tillförlitlig uppskattning av neuronernas verkliga betydelse.
Importance Estimation for Neural Network Pruning
{'venue': '2019 IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR)', 'journal': '2019 IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR)', 'mag_field_of_study': ['Computer Science', 'Mathematics']}