Framgången för konvolutionella neurala nätverk (CNN) i datorseende applikationer har åtföljts av en betydande ökning av beräknings- och minneskostnader, vilket förbjuder deras användning på resursbegränsade miljöer, såsom mobila system eller inbyggda enheter. För detta ändamål har forskningen om CNN-komprimering nyligen börjat växa fram. I detta dokument föreslår vi ett nytt filterbeskärningssystem, som kallas strukturerad sparitetsreglering (SSR), för att samtidigt påskynda beräkningen och minska CNN:s minnesomkostnader, vilket kan stödjas väl av olika djupinlärningsbibliotek utanför hyllan. Konkret omfattar det föreslagna systemet två olika regularizers av strukturerad sparhet i den ursprungliga objektiva funktionen av filterbeskärning, som fullt ut samordnar den globala produktionen och lokala beskärningsåtgärder till adaptivt beskära filter. Vi föreslår vidare en alternativ uppdatering med Lagrange multiplikatorsystem (AULM) för att effektivt lösa dess optimering. AULM följer principen om alternerande riktning metod multiplikatorer (ADMM) och växlar mellan att främja den strukturerade gleshet CNNs och optimera igenkänningsförlusten, vilket leder till en mycket effektiv lösare (2,5× till det senaste arbetet som direkt löser gruppen gleshet-baserad legalisering). Dessutom, genom att införa den strukturerade gleshet, online inference är extremt minne-ljus eftersom antalet filter och utdatafunktionskartor minskas samtidigt. Det föreslagna systemet har använts för en mängd olika toppmoderna CNN-strukturer, inklusive LeNet, AlexNet, VGGNet, ResNet och GoogLeNet, över olika datamängder. Kvantitativa resultat visar att det föreslagna systemet uppnår bättre resultat än de senaste metoderna. Vi demonstrerar vidare det föreslagna kompressionssystemet för uppgiften att överföra lärande, inklusive domänanpassning och objektdetektering, som också visar spännande prestandavinster över toppmoderna filterbeskärningsmetoder. 3 För att göra en rättvis jämförelse utvärderar vi endast beräkningskostnaden för modellen för online-slut, utan att inkludera utbildningen Shaohui Lin (S'19) fick M.S. examen från Jimei University, Xiamen, Kina, 2014. Han bedriver för närvarande doktorsexamen i informations- och datavetenskap med Xiamen University, Xiamen. Hans nuvarande forskningsintressen inkluderar maskininlärning och datorseende.
Ett nytt arbete använder strukturerad sparity regularization och Stochastic Gradient Descent att beskära onödiga funktionskartor REF.
Toward Compact ConvNets via Structure-Sparsity Regularized Filter Pruning
{'venue': 'IEEE Transactions on Neural Networks and Learning Systems', 'journal': 'IEEE Transactions on Neural Networks and Learning Systems', 'mag_field_of_study': ['Computer Science', 'Medicine']}