Abstrakt. Även om vikt och aktivering kvantization är en effektiv metod för Deep Neural Network (DNN) komprimering och har en hel del potential att öka inference hastighet mobilisera bit-operationer, finns det fortfarande ett märkbart gap i termer av förutsägelse noggrannhet mellan den kvantiserade modellen och full precision modell. För att komma till rätta med denna klyfta föreslår vi att vi gemensamt utbildar ett kvantiserat, bit-operation-kompatibelt DNN och dess tillhörande kvantizers, i stället för att använda fasta, handgjorda kvantifieringssystem som likformig eller logaritmisk kvantifiering. Vår metod för att lära sig kvantizers gäller både nätverksvikter och aktiveringar med godtycklig precision, och våra kvantizers är lätta att träna. De omfattande experimenten på CIFAR-10 och ImageNet dataset visar att vår metod fungerar konsekvent bra för olika nätverksstrukturer som AlexNet, VGG-Net, GoogLeNet, ResNet och DenseNet, överträffar tidigare kvantiseringsmetoder när det gäller noggrannhet med en märkbar marginal. Kod tillgänglig på https://github.com/Microsoft/LQ-Nets
I synnerhet föreslår LQ-Net REF att gemensamt optimera kvantizern och nätverksparametrarna.
LQ-Nets: Learned Quantization for Highly Accurate and Compact Deep Neural Networks
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Computer Science']}