Abstrakt. Vi föreslår en ny värdemedveten kvantisering som på ett aggressivt sätt minskar precisionen för de flesta data samtidigt som man separat hanterar en liten mängd stora data med hög precision, vilket minskar de totala kvantiseringsfelen under mycket låg precision. Vi presenterar nya tekniker för att tillämpa den föreslagna kvantifieringen på utbildning och slutledning. Experimenten visar att vår metod med 3-bitars aktiveringar (med 2% av de stora) kan ge samma träningsnoggrannhet som full precision en samtidigt som den erbjuder betydande (41,6% och 53,7%) minskningar i minneskostnaden för aktiveringar i ResNet-152 och Inception-v3 jämfört med den senaste metoden. Våra experiment visar också att djupa nätverk som Inception-v3, ResNet-101 och DenseNet-121 kan kvantifieras för inferens med 4-bitars vikter och aktiveringar (med 1% 16-bitars data) inom 1% topp-1 noggrannhet droppe.
REF föreslår värdemedveten kvantisering där majoriteten av data beräknas med reducerad precision medan ett litet antal avvikelser hanteras med hög precision.
Value-aware Quantization for Training and Inference of Neural Networks
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Computer Science']}