Djupa Neurala nät (NN) med miljontals parametrar är kärnan i många toppmoderna datorseendesystem idag. På senare tid har dock arbeten visat att mycket mindre modeller kan uppnå liknande prestanda. I detta arbete tar vi upp problemet med beskärningsparametrar i en utbildad NN-modell. Istället för att ta bort individuella vikter en i taget som gjorts i tidigare verk, tar vi bort en neuron i taget. Vi visar hur liknande neuroner är överflödiga och föreslår ett systematiskt sätt att avlägsna dem. Våra experiment i beskärning av tätt anslutna lager visar att vi kan ta bort upp till 85% av de totala parametrarna i ett MNIST-utbildat nätverk, och ca 35% för AlexNet utan att väsentligt påverka prestanda. Vår metod kan användas ovanpå de flesta nätverk med ett helt uppkopplat lager för att ge ett mindre nätverk.
Genom att utforska likheten mellan nervceller, srinivas et al. REF föreslog ett systematiskt sätt att ta bort överflödiga neuroner i stället för nätverksanslutningar.
Data-free parameter pruning for Deep Neural Networks
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Computer Science']}