Den senaste tidens framsteg i konvolutionella neurala nätverk har övervägt modell komplexitet och hårdvarueffektivitet för att möjliggöra spridning på inbyggda system och mobila enheter. Till exempel är det nu välkänt att den aritmetiska driften av djupa nät kan kodas ner till 8-bitars fast punkt utan betydande försämring av prestanda. Ytterligare minskning av precisionen ned till så låg som 3-bitars fast punkt leder dock till betydande prestandaförluster. I detta dokument föreslår vi en ny datarepresentation som gör det möjligt att koda toppmoderna nätverk till 3 bitar med försumbar förlust i klassificeringsprestanda. För att utföra detta utnyttjar vi det faktum att vikterna och aktiveringarna i ett utbildat nätverk naturligtvis har icke-uniforma distributioner. Med hjälp av icke-uniform, bas-2 logaritmisk representation för att koda vikter, kommunicera aktiveringar, och utföra dot-produkter gör det möjligt för nätverk att 1) uppnå högre klassificering noggrannhet än fast punkt vid samma upplösning och 2) eliminera skrymmande digitala multiplikatorer. Slutligen föreslår vi en end-to-end utbildning som använder log representation på 5-bitar, som uppnår högre slutlig testnoggrannhet än linjär på 5-bitar.
Logaritmiska data representationer användes för att uppskatta den icke-uniforma fördelningen av vikter, aktiveringar och gradienter ner till 3-bitar med försumbar noggrannhet förlust REF.
Convolutional Neural Networks using Logarithmic Data Representation
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Computer Science']}