Hårdvaruacceleration av Deep Neural Networks (DNN) syftar till att tämja deras enorma beräkningsintensitet. För att fullt ut inse potentialen för acceleration inom detta område krävs förståelse och utnyttjande av DNN:s algoritmiska egenskaper. Detta dokument bygger på den algoritmiska insikten att bitbredden i verksamheten i DNN kan minskas utan att deras klassificeringsnoggrannhet äventyras. För att förhindra att noggrannheten går förlorad varierar dock bitbredden betydligt mellan DNN och kan till och med justeras för varje lager individuellt. En fast bitbreddsaccelerator skulle därför antingen ge begränsade fördelar för att tillgodose de värsta kraven på bitbredd, eller oundvikligen leda till en försämring av den slutliga noggrannheten. För att avhjälpa dessa brister introducerar detta arbete dynamisk fusion/nedbrytning på bitnivå som en ny dimension i konstruktionen av DNN-acceleratorer. Vi utforskar denna dimension genom att designa Bit Fusion, en bit-flexibel accelerator, som utgör en rad bit-nivå bearbetningselement som dynamiskt smälter samman för att matcha bitbredden av enskilda DNN lager. Denna flexibilitet i arkitekturen gör det möjligt att minimera beräkning och kommunikation på bästa möjliga granularitet utan förlust av noggrannhet. Vi utvärderar fördelarna med Bit Fusion med hjälp av åtta verkliga feed-forward och återkommande DNN. Den föreslagna mikroarkitekturen genomförs i Verilog och syntetiseras i 45 nm-teknik. Med hjälp av syntesresultaten och den noggranna simuleringen jämför vi fördelarna med Bit Fusion med två toppmoderna DNN-acceleratorer, Eyeriss [1] och Stripes [2]. I samma område, frekvens och processteknik, Bit Fusion erbjuder 3,9× speedup och 5,1× energibesparingar över Eyeriss. Jämfört med Stripes, Bit Fusion ger 2,6× speedup och 3,9× energireduktion vid 45 nm nod när Bit Fusion område och frekvens är inställda på dem av Stripes. Skalning till GPU-teknologi nod av 16 nm, Bit Fusion nästan matchar prestandan hos en 250-Watt Titan Xp, som använder 8-bitars vektor instruktioner, medan Bit Fusion bara förbrukar 895 milliwatt av makt.
BitFusion REF är en bit-flexibel accelerator som innehåller en rad bit-nivå bearbetningselement som kan dynamiskt sammanfogas eller delas för att matcha bitbredden av enskilda DNN lager.
Bit Fusion: Bit-Level Dynamically Composable Architecture for Accelerating Deep Neural Network
{'venue': '2018 ACM/IEEE 45th Annual International Symposium on Computer Architecture (ISCA)', 'journal': '2018 ACM/IEEE 45th Annual International Symposium on Computer Architecture (ISCA)', 'mag_field_of_study': ['Computer Science']}