Neurala nätverk är både beräkningsintensiva och minnesintensiva, vilket gör dem svåra att distribuera på inbyggda system med begränsade hårdvaruresurser. För att ta itu med denna begränsning, introducerar vi "djup kompression", en trestegs pipeline: beskärning, utbildad kvantisering och Huffman kodning, som arbetar tillsammans för att minska lagringskravet för neurala nätverk med 35× till 49× utan att påverka deras noggrannhet. Vår metod först beskär nätverket genom att lära sig bara viktiga anslutningar. Därefter kvantifierar vi vikterna för att tvinga fram viktdelning, slutligen använder vi Huffman-kodning. Efter de två första stegen tränar vi om nätverket för att finjustera de återstående anslutningarna och de kvantiserade centroiderna. Beskärning, minskar antalet anslutningar med 9× till 13×; Kvantisering minskar sedan antalet bitar som representerar varje anslutning från 32 till 5. På ImageNet dataset, vår metod minskade lagring som krävs av AlexNet med 35×, från 240MB till 6,9MB, utan förlust av noggrannhet. Vår metod minskade storleken på VGG-16 med 49× från 552MB till 11,3MB, igen utan förlust av noggrannhet. Detta gör det möjligt att montera modellen i on-chip SRAM cache snarare än off-chip DRAM minne. Vår komprimeringsmetod underlättar också användningen av komplexa neurala nätverk i mobila applikationer där applikationens storlek och nedladdningsbandbredd begränsas. Benchmarked på CPU, GPU och mobil GPU, komprimerat nätverk har 3× till 4× lagervis speedup och 3× till 7× bättre energieffektivitet.
Djupkompression REF introducerade trestegs utbildning av beskärning, tränad kvantisering och Huffman-kodning och visade att viktbeskärning och viktkvantisering kan arbeta tillsammans för högre kompression.
Deep Compression: Compressing Deep Neural Networks with Pruning, Trained Quantization and Huffman Coding
{'venue': 'ICLR 2016', 'journal': 'arXiv: Computer Vision and Pattern Recognition', 'mag_field_of_study': ['Computer Science']}