Vi introducerar en metod för att träna Quantized Neural Networks (QNN) -neurala nätverk med extremt låg precision (t.ex., 1-bitars) vikter och aktiveringar, vid körtid. Vid tågtiden används de kvantiserade vikterna och aktiveringarna för beräkning av parametergradienterna. Under forwardpasset minskar QNN drastiskt minnesstorlek och åtkomster, och ersätter de flesta aritmetiska operationer med bitvisa operationer. Som ett resultat av detta förväntas energiförbrukningen minska drastiskt. Vi utbildade QNN över MNIST, CIFAR-10, SVHN och ImageNet dataset. De resulterande QNN:erna uppnår förutsägelsenoggrannhet som är jämförbar med deras 32-bitars motsvarigheter. Till exempel, vår kvantiserade version av AlexNet med 1-bitars vikter och 2-bitars aktiveringar uppnår 51% topp-1 noggrannhet. Dessutom kvantifierar vi parametergradienter till 6-bitars samt som möjliggör gradienter beräkning med endast bitvis drift. Kvantifierade återkommande neurala nätverk testades över Penn Treebank dataset, och uppnådde jämförbar noggrannhet som deras 32-bitars motsvarigheter med endast 4-bitars. Sist men inte minst programmerade vi en binär matris multiplikation GPU-kärna med vilken det är möjligt att köra vår MNIST QNN 7 gånger snabbare än med en ooptimerad GPU-kärna, utan att lida någon förlust i klassificeringsnoggrannhet. QNN-koden finns tillgänglig på nätet.
I ett annat arbete REF, författarna utbildade neurala nätverk med extremt låg precision, och utökad framgång till kvantiserade återkommande neurala nätverk.
Quantized Neural Networks: Training Neural Networks with Low Precision Weights and Activations
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Computer Science']}