Abstract-State-of-the-art djupa neurala nätverk (DNN) har hundratals miljoner anslutningar och är både beräknings- och minnesintensiva, vilket gör dem svåra att distribuera på inbyggda system med begränsade hårdvaruresurser och makt budgetar. Medan anpassad hårdvara hjälper beräkningen, hämta vikter från DRAM är två storleksordningar dyrare än ALU-verksamhet, och dominerar den nödvändiga kraften. Tidigare föreslagna "Deep Compression" gör det möjligt att passa stora DNN (AlexNet och VGGNet) helt i on-chip SRAM. Denna kompression uppnås genom att beskära redundanta anslutningar och ha flera anslutningar dela samma vikt. Vi föreslår en energieffektiv inferencemotor (EIE) som utför slutledning på denna komprimerade nätverksmodell och accelererar den resulterande glesa matris-vektor multiplikation med viktdelning. Att gå från DRAM till SRAM ger EIE 120× energibesparing; Utnyttja sparsamhet sparar 10×; Viktdelning ger 8×; Hoppa över noll aktiveringar från ReLU sparar en annan 3×. Utvärderad på nio DNN riktmärken, är EIE 189× och 13× snabbare jämfört med CPU och GPU implementationer av samma DNN utan komprimering. EIE har en processkraft på 102 GOPS arbetar direkt på ett komprimerat nätverk, vilket motsvarar 3 TOPS på ett okomprimerat nätverk, och bearbetar FC lager av AlexNet på 1.88×10 4 ramar/sec med en effektavledning på endast 600mW. Det är 24,000× och 3.400× mer energieffektiv än en CPU respektive GPU. Jämfört med DaDianNao har EIE 2,9×, 19× och 3× bättre genomströmning, energieffektivitet och områdeseffektivitet.
Denna teknik, kallas Deep Compression, har satts in på anpassade hårdvaruaccelerator kallas Effektiv Inference Engine, uppnå betydande hastigheter och energibesparingar REF.
EIE: efficient inference engine on compressed deep neural network
{'venue': 'CARN', 'journal': None, 'mag_field_of_study': ['Computer Science']}