Den nuvarande trenden att driva CNNs djupare med convolutions har skapat en pressande efterfrågan för att uppnå högre kompressionsvinster på CNNs där convolutions dominerar beräkningen och parameterbeloppet (t.ex., GoogLeNet, ResNet och Wide ResNet). Konvolutionernas höga energiförbrukning begränsar dessutom dess spridning på mobila enheter. I detta syfte föreslog vi ett enkelt men effektivt system för att komprimera konvolutioner genom att tillämpa k-medel kluster på vikterna, kompression uppnås genom viktdelning, genom att endast registrera K klustercenter och vikt tilldelning index. Vi introducerade sedan en ny spektralt avslappnad k-means legalisering, som tenderar att göra svåra uppdrag av konvolutionella lagervikter till K lärde kluster centra under omskolning. Vi föreslår dessutom en förbättrad uppsättning mätvärden för att uppskatta energiförbrukningen av CNN hårdvara implementationer, vars skattningsresultat verifieras vara förenliga med tidigare föreslagna energiuppskattning verktyg extrapoleras från faktiska hårdvarumätningar. Vi utvärderade slutligen Deep k-Means över flera CNN-modeller både vad gäller kompressionsförhållande och energiförbrukning minskning, observera lovande resultat utan att ådra sig noggrannhetsförlust.
Wu och Al. REF tillämpade k-medel kluster på vikterna för att komprimera CNN, som behöver ställa in olika antal kluster centroider.
Deep $k$-Means: Re-Training and Parameter Sharing with Harder Cluster Assignments for Compressing Deep Convolutions
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Computer Science', 'Mathematics']}