Djupa neurala nätverk ökar i popularitet eftersom de används för att generera toppmoderna resultat för en mängd olika datorseende och maskininlärning program. Samtidigt har dessa nätverk vuxit i djup och komplexitet för att lösa svårare problem. Med tanke på de begränsade maktbudgetarna för dessa nät har betydelsen av lågeffektiva lösningar med låg minnesnivå betonats under de senaste åren. Medan ett stort antal dedikerad hårdvara med olika precisioner nyligen har föreslagits, finns det ingen omfattande studie av olika bitprecisioner och aritmetisk i både ingångar och nätverksparametrar. I detta arbete, vi tar itu med denna fråga och utföra en studie av olika bit-precisions i neurala nätverk (från flytta-punkt till fast-punkt, befogenheter två, och binära). I vår utvärdering överväger och analyserar vi effekten av precisionsskalning på både nätnoggrannhet och hårdvarumått inklusive minnesavtryck, ström- och energiförbrukning samt designområde. Vi undersöker också utbildning-tid metoder för att kompensera för minskningen av noggrannhet på grund av begränsad bit precision och visar att i de flesta fall, precisionsskalning kan ge betydande fördelar i designmått på bekostnad av mycket blygsamma minskningar i nätnoggrannhet. Dessutom föreslår vi att en liten del av de fördelar som uppnås när man använder lägre precisioner kan förverkas för att öka nätstorleken och därmed noggrannheten. Vi utvärderar våra experiment med hjälp av tre väl igenkända nätverk och dataset för att visa dess allmängiltighet. Vi undersöker kompromisserna och lyfter fram fördelarna med att använda lägre precision när det gäller energi- och minnesavtryck.
Å andra sidan, Hashemi et al. REF ger en bred utvärdering av olika precisioner och kvantiseringar på både hårdvarumått och nätverksnoggrannhet.
Understanding the impact of precision quantization on the accuracy and energy of neural networks
{'venue': 'Design, Automation & Test in Europe Conference & Exhibition (DATE), 2017', 'journal': 'Design, Automation & Test in Europe Conference & Exhibition (DATE), 2017', 'mag_field_of_study': ['Computer Science']}