Stora djupa neurala nätverk (DNN) är både beräkna och minne intensiv. Eftersom storleken på DNN fortsätter att växa är det viktigt att förbättra energieektiviteten och prestandan samtidigt som noggrannheten bibehålls. För DNN är modellens storlek en viktig faktor som påverkar prestanda, skalbarhet och energieffektivitet. Viktbeskärning uppnår bra kompressionsförhållanden men suers från tre nackdelar: 1) den oregelbundna nätverksstruktur efter beskärning, som aects prestanda och genomströmning, 2) den ökade tränings komplexiteten, och 3) bristen på rigorös garanti för kompressionsförhållande och inference noggrannhet. För att övervinna dessa begränsningar föreslår detta dokument CCNN, en principiell metod för att representera vikter och process neurala nätverk med hjälp av block-cirkulerande matriser. CCNN använder snabbmultiplikation baserad på Fast Fourier Transform (FFT), vilket samtidigt minskar komplexiteten i beräkningen (både inferens och utbildning) från O(n 2 ) till O(n log n) och lagringskomplexet från O(n 2 ) till O(n), med försumbar noggrannhetsförlust. Jämfört med andra metoder, CCNN är distinkt på grund av sin matematiska stelhet: DNNs baserade på CCNN kan konvergera till samma "eektivitet" som DNNs utan komprimering. Vi föreslår CCNN-arkitekturen, en universell DNN-inferensmotor som kan implementeras i olika hård- och programvaruplattformar med konkurrerbar nätverksarkitektur (t.ex. lagertyp, storlek, skalor osv.). I CCNN arkitektur: 1) På grund av rekursiv egenskap, FFT kan användas som nyckeln datorkärna, vilket säkerställer universella och små-fotavtryck implementationer. 2) Den komprimerade men regelbundna nätverksstruktur undviker fallgropar av nätverket beskärning och underlättar hög prestanda och genomströmning med högt rörledning och parallell design. För att visa prestanda och energieffektivitet testar vi C CNN i FPGA, ASIC och inbyggda processorer. Våra resultat visar att CCNN arkitektur uppnår mycket hög energi effektivitet och prestanda med ett litet hårdvaruavtryck. Baserat på FPGA:s genomförande- och ASIC-syntesresultat uppnår CCNN 6-102X energieektivitetsförbättringar jämfört med de bästa toppmoderna resultaten.
CirCNN REF använder blockcirkulerande matriser för att lagra vikter, där element delas på ett förutsägbart sätt och Fourier transforms används för slutledning, vilket minskar komplexiteten i både slutledning och utbildning.
CirCNN: accelerating and compressing deep neural networks using block-circulant weight matrices
{'venue': "MICRO-50 '17", 'journal': None, 'mag_field_of_study': ['Computer Science']}