Realtidstillämpning av djupinlärningsalgoritmer hindras ofta av hög beräknings komplexitet och frekventa minnesåtkomster. Nätbeskärning är en lovande teknik för att lösa detta problem. Beskärning resulterar dock vanligtvis i oregelbundna nätverksanslutningar som inte bara kräver extra representationsinsatser utan också inte passar bra vid parallell beräkning. Vi introducerar strukturerad sparhet på olika skalor för konvolutionella neurala nätverk: har kart-wise, kärn-wise, och intra-kernel steg sparity. Denna strukturerade sparsamhet är mycket fördelaktig för direkta beräkningsresurser på inbyggda datorer, i parallella datormiljöer och i hårdvarubaserade system. För att avgöra betydelsen av nätverksanslutningar och nätvägar använder den föreslagna metoden en partikelfiltreringsmetod. Vikten av varje partikel tilldelas genom att man bedömer felklassificeringshastigheten med ett motsvarande konnektivitetsmönster. Det beskurna nätet omskolas för att kompensera för förlusterna på grund av beskärning. Samtidigt som vi implementerar convolutions som matrisprodukter, visar vi särskilt att intra-kärnan steg spartyngd med en enkel begränsning kan avsevärt minska storleken på kärnan och funktionen kart tensorer. Det föreslagna arbetet visar att när granulariteterna beskärs i kombination kan vi beskära CIFAR-10-nätverket med mer än 70 % med mindre än 1 % noggrannhetsförlust. mål kan uppnås genom att tillämpa beskärningstekniken på högpresterande stora nätverk, där beskärning minskar beräkningskostnaden. Dessutom kan dessa lätta nätverk implementeras med hjälp av endast on-chip minne för energibesparingar eftersom frekventa DRAM-åtkomst förbrukar mycket energi. Beskärning framkallar sparsamhet i ett nätverk och kan kategoriseras som strukturerad och ostrukturerad. Ostrukturerad beskärning följer inte någon specifik geometri eller begränsning. I de flesta fall behöver denna teknik extra information för att representera glesa platser. Det leder till oregelbunden sparhet, vilket är svårt att utnyttja för effektiv beräkning. Å andra sidan placerar strukturerad gleshet icke-nollparametrar på väldefinierade platser. Denna typ av begränsning gör det möjligt för moderna processorer och grafik bearbetningsenheter (GPU) att enkelt utnyttja beräkningsbesparingar. Nätverksbeskärning har undersökts av flera forskare [Han et al. Denna förordning träder i kraft den tjugonde dagen efter det att den har offentliggjorts i Europeiska unionens officiella tidning. , 2015b Castellano et al. 1997; Collins och Kohli 2014; Stepniewski och Keane 1997; Reed 1993]. Han et als verk. [2015a Han et al.]............................................................................................................. [, 2015b har visat att en mycket större del av vikter kan sättas till noll med minsta eller ingen förlust i prestanda. De tränar ett nätverk med ytterligare L1/L2-förlustfunktion på vikterna och beskär det gradvis. Om vikten på en anslutning är mindre än en tröskel, kopplas anslutningen ned. Författarna i Han et al. [2015b] utöka detta arbete ytterligare genom att kvantifiera det slutligen beskurna nätverket [Han et al. - Vad är det? - 2015a. Båda verken måste dock uttryckligen lokalisera icke-nollvikter med gles representation. Konventionellt använder sparsam representation formatet Komprimerad Sparse Row/Compressed Sparse Column (CSR/CSC) som representerar m icke-nolltal med 2m + n + 1 tal, där n representerar antalet rader eller kolumner. Han et al:s arbete. [2015a] visar att hälften av AlexNets minnesutrymme krävs för att lagra indexen för icke-nollparametrarna. Detta dubblar också minnesåtkomst eftersom varje vikt hämta nu blir ett (index, vikt) par. Vårt föreslagna arbete kräver inte en sådan extra representation. I detta arbete utforskar vi funktionskartan och den intrakärniga sparsamheten som ett sätt att strukturera beskärningen. I funktionen karta beskärning, alla inkommande och utgående vikter till / från en funktion karta beskärs. Den intra-kärna sparty beskär vikter i en kärna. Beskärningen på kärnnivå är ett specialfall av intrakärna med 100 % beskärning. Dessa beskärning granulariteter kan tillämpas i olika kombinationer och olika beställningar. Det föreslagna arbetet innehåller följande bidrag:
Anwar m.fl. REF introducerar tre nivåer av strukturerad sparhet, som är kanal klokt, filter klokt och intrafilter steg sparhet när det gäller beskärning vikter och filter.
Structured Pruning of Deep Convolutional Neural Networks
{'venue': 'JETC', 'journal': None, 'mag_field_of_study': ['Computer Science', 'Mathematics']}