Vi föreslår DoReFa-Net, en metod för att träna konvolutionella neurala nätverk som har låg bitbredd vikter och aktiveringar med hjälp av låg bitbredd parameter gradienter. Särskilt under bakåtpassering är parametergradienter stokastiskt kvantiserade till låga bitbreddstal innan de förökas till konvolutionella skikt. Eftersom konvolutioner under framåt-/bakåtpassningar nu kan fungera på låga bitbreddsvikter respektive aktiveringar/gradienter, kan DoReFa-Net använda bitkonvolutionskärnor för att påskynda både träning och slutledning. Dessutom, som bit convolutions kan effektivt genomföras på CPU, FPGA, ASIC och GPU, DoReFa-Net öppnar vägen för att påskynda utbildning av låg bitwidth neurala nätverk på dessa hårdvara. Våra experiment på SVHN och ImageNet dataset bevisar att DoReFa-Net kan uppnå jämförbar förutsägelse noggrannhet som 32-bitars motsvarigheter. Till exempel, en DoReFa-Net härledd från AlexNet som har 1-bitars vikter, 2-bitars aktiveringar, kan tränas från grunden med 6-bitars lutningar för att få 46,1% topp-1 noggrannhet på ImageNet valideringsuppsättning. Den DoReFa-Net AlexNet modellen släpps offentligt.
DoReFaNet REF föreslår att träna låga bitbredd nätverk med låg bitbredd gradienter med hjälp av stokastisk kvantisering.
DoReFa-Net: Training Low Bitwidth Convolutional Neural Networks with Low Bitwidth Gradients
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Computer Science']}