Nätverkskvantisering är en av nätverkskompressionstekniker som används för att minska redundansen av djupa neurala nätverk. Den komprimerar storleken på lagringen för ett stort antal nätverksparametrar i ett neuralt nätverk genom att kvantifiera dem och koda de kvantiserade värdena till binära kodord av mindre storlekar. I detta papper, syftar vi till att utforma nätverk kvantisering system som minimerar den förväntade förlusten på grund av kvantisering samtidigt maximera komprimeringsförhållandet. I detta syfte analyserar vi den kvantitativa relationen av kvantiseringsfel till förlustfunktionen i ett neuralt nätverk och identifierar att den hessiska viktade distorsionsmåttet lokalt är rätt objektiv funktion som vi behöver optimera för att minimera förlusten på grund av kvantisering. Som ett resultat, Hessian-viktade k-medel klustering föreslås för kluster nätverksparametrar att kvantifiera när fast längd binär kodning följer. Hessian-viktning hanterar de olika effekterna av kvantiseringsfel inte bara inom lager utan även över lager och därmed kan den användas för att kvantifiera alla lager av ett nätverk samtidigt; det är fördelaktigt eftersom man kan undvika komprimeringshastighetsoptimering i lager för lager. När optimala binära koder med variabel längd, t.ex. Huffman-koder, används för ytterligare komprimering av kvantiserade värden efter klusterbildning, drar vi slutsatsen att problemet med nätquantization kan relateras till problemet med entropy-constomed skalarquantization (ECSQ) i informationsteorin och föreslår följaktligen två lösningar av ECSQ för nätverksquantization, dvs. enhetlig kvantisering och en iterativ algoritm som liknar Lloyds algoritm för k-means klustring. Slutligen, med hjälp av den enkla enhetliga kvantisering följt av Huffman kodning, våra experimentresultat visar att kompressionsförhållandet 51,25, 22,17 och 40,65 är möjliga (dvs. storlekarna på de komprimerade modellerna är 1,95%, 4,51% och 2,46% av de ursprungliga modellstorlekarna) för LeNet, ResNet respektive AlexNet, vid ingen eller marginell prestandaförlust.
REF härledd att nätverksquantization problem är relaterad till entropy-constomed skalar kvantization i informationsteori och utformade ett nätverk kvantization system som minimerar prestandaförlust med avseende på kvantisering givet en kompressionskvot begränsning.
Towards the Limit of Network Quantization
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Computer Science']}