Vi föreslår en ny ram för beskärning av konvolutionella kärnor i neurala nätverk för att möjliggöra effektiv inferens, med fokus på överföringslärande där stora och potentiellt otympliga förtränade nätverk är anpassade till specialiserade uppgifter. Vi lämnar giriga kriterier-baserad beskärning med finjustering genom backpropagation-en beräkningseffektiv procedur som upprätthåller god generalisering i det beskurna nätverket. Vi föreslår ett nytt kriterium baserat på en effektiv första-order Taylor expansion för att approximera den absoluta förändringen i utbildningskostnader som orsakas av beskärning en nätverkskomponent. Efter normalisering, det föreslagna kriteriet skalar på lämpligt sätt över alla skikt av en djup CNN, vilket eliminerar behovet av per-lager känslighetsanalys. Det föreslagna kriteriet visar på överlägsen prestanda jämfört med andra kriterier, såsom normen för kärnvikter eller genomsnittlig funktionskartaktivering.
REF föreslår ett Taylor expansionsbaserat beskärningskriterium för att approximera den förändring i kostnadsfunktionen som orsakas av beskärning.
Pruning Convolutional Neural Networks for Resource Efficient Transfer Learning
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Computer Science']}