Kanalbeskärning är en av de dominerande metoderna för djup modellkomprimering. Befintliga beskärningsmetoder tränar antingen från grunden med gleshetsbegränsningar på kanalerna, eller minimerar återuppbyggnadsfelet mellan de förtränade funktionskartorna och de komprimerade. Båda strategierna lider av vissa begränsningar: den förra typen är beräknings dyrt och svårt att konvergera, medan den senare typen optimerar återuppbyggnadsfelet men ignorerar den diskriminerande kraften i kanaler. I detta dokument undersöker vi en enkel och effektiv metod som kallas diskrimineringsmedveten kanalbeskärning (DCP) för att välja de kanaler som verkligen bidrar till diskrimineringskraft. I detta syfte inför vi ytterligare diskrimineringsmedvetna förluster i nätet för att öka den diskriminativa kraften hos mellanskikten och sedan välja de mest diskriminerande kanalerna för varje skikt genom att beakta den ytterligare förlusten och återuppbyggnadsfelet. Sist föreslår vi en girig algoritm för att utföra kanalval och parameteroptimering på ett iterativt sätt. Omfattande experiment visar hur effektiv vår metod är. Till exempel, på ILSVRC-12, vår beskurna ResNet-50 med 30% minskning av kanaler överträffar baslinjemodellen med 0,39% i topp-1 noggrannhet. Nya studier om modellkompression innehåller huvudsakligen tre kategorier, nämligen kvantisering [31, 53], glesa eller lågrankade kompressioner [8, 9], och kanalbeskärning [25, 26, 48, 50]. Nätverkskvantifiering syftar till att minska modellstorleken genom att kvantifiera flytvikter till låg vikt (t.ex. 8 bitar eller till och med 1 bit). Utbildningen är dock mycket svår på grund av införandet av kvantiseringsfel. Att göra glesa anslutningar kan nå hög komprimeringshastighet i teorin, men det kan generera oregelbundna konvolutionskärnor som behöver glesa matrisoperationer för att accelerera beräkningen. I * Författare bidrog lika mycket. Nätverkskvantifiering. I [31] Rastegari m.fl. föreslå kvantifiering av parametrar i nätverket till +1/ - 1. Den föreslagna BWN och XNOR-Net kan uppnå jämförbar noggrannhet med deras fullprecision motsvarigheter på storskaliga datauppsättningar. I [54], hög precision vikter, aktiveringar och gradienter i CNNs kvantifieras till låg bit-bredd version, vilket ger stora fördelar för att minska resursbehov och strömförbrukning i hårdvara enheter. Genom att införa noll som det tredje kvantiserade värdet kan ternära viktnätverk (TWN) [21, 55] uppnå högre noggrannhet än binära neurala nätverk. Utforskningar av kvantisering [53] visar att kvantiserade nätverk till och med kan överträffa de fulla precisionsnätverken när de kvantifieras till värdena med fler bitar, t.ex. 4 eller 5 bitar. Sparsiga eller lågvärdiga anslutningar. För att minska lagringsbehoven i neurala nätverk, Han et al. tyder på att neuroner med noll ingångs- eller utgångsanslutningar på ett säkert sätt kan tas bort från nätverket [10]. Med hjälp av 1 / 2 regularisering trycks vikterna till nollor under träningen. Därefter kan kompressionshastigheten av AlexNet nå 35× med kombinationen av beskärning, kvantisering och Huffman kodning [9]. Med tanke på vikten av parametrar ändras under viktbeskärning, Guo et al. föreslå dynamisk nätverkskirurgi (DNS) [8]. Utbildning med gleshetsbegränsningar [37, 46] har också studerats för att uppnå högre kompressionshastighet. Djupa modeller innehåller ofta en hel del korrelationer mellan kanaler. För att avlägsna sådan redundans har låggradiga approximationsmetoder studerats i stor utsträckning [4, 5, 17, 36]. Till exempel Zhang et
Zhuang m.fl. REF föreslog diskrimineringsmedveten kanalbeskärning (DCP), där de ytterligare diskrimineringsmedvetna förlusterna infördes i nätverket för att hitta mellanskikt och sedan välja de mest diskriminerande kanalerna från varje skikt genom en girig algoritm.
Discrimination-aware Channel Pruning for Deep Neural Networks
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Computer Science']}