Med utvecklingen av djupa neurala nätverk blir storleken på nätverksmodeller större och större. Modellkomprimering har blivit ett akut behov av att distribuera dessa nätverksmodeller till mobila eller inbyggda enheter. Modellkvantisering är en representativ modellkompressionsteknik. Även om en hel del kvantiseringsmetoder har föreslagits, många av dem lider av en hög kvantisering fel orsakas av en lång-tail distribution av nätvikter. I detta dokument föreslår vi en ny kvantiseringsmetod, kallad viktnormaliseringsbaserad kvantisering (WNQ), för modellkomprimering. WNQ antar vikt normalisering för att undvika lång-tail distribution av nätverksvikter och därefter minskar kvantisering fel. Experiment på CIFAR-100 och ImageNet visar att WNQ kan överträffa andra baslinjer för att uppnå toppmodern prestanda.
Vikt normalisering antas för att undvika en lång svans fördelning av modellens vikter REF.
Weight Normalization based Quantization for Deep Neural Network Compression
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Computer Science', 'Mathematics']}