Under de senaste åren har allt mer komplexa arkitekturer för djupgående konvolutionsnätverk föreslagits för att öka prestandan när det gäller bildigenkänningsuppgifter. Vinsterna i prestanda har dock kommit till en kostnad av betydande ökning av beräknings- och modelllagringsresurserna. Fast punkt implementering av DCNs har potential att lindra vissa av dessa komplexiteter och underlätta eventuell spridning på inbäddad hårdvara. I detta dokument föreslår vi en quantizer design för fast punkt genomförande av DCNs. Vi formulerar och löser ett optimeringsproblem för att identifiera optimal fast punkt bit-bredd fördelning över DCN lager. Våra experiment visar att i jämförelse med samma bitbreddsinställningar, den fasta punkten DCNs med optimerad bitbredd tilldelning erbjuder > 20% minskning av modellstorlek utan någon förlust i noggrannhet på CIFAR-10 riktmärke. Vi visar också att finjustering ytterligare kan förbättra noggrannheten hos fasta DCN-punkter utöver den ursprungliga flyttalmodellen. Genom att göra detta rapporterar vi en ny toppmodern fast punktprestanda på 6,78% felprocent på CIFAR-10-riktmärke.
I REF föreslogs en kvantisering med fasta punkter med hjälp av en linjär skalfaktor för viktvärden där bitbredder för kvantisering finns adaptivt för varje skikt, vilket möjliggör 20 % minskning av viktstorleken i minnet utan någon noggrannhetsförlust jämfört med den ursprungliga kvantifieringsmetoden med fasta punkter.
Fixed Point Quantization of Deep Convolutional Networks
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Mathematics', 'Computer Science']}