Vi föreslår en ny ram för beskärning av konvolutionella kärnor i neurala nätverk för att möjliggöra effektiv inferens, med fokus på överföringslärande där stora och potentiellt otympliga förtränade nätverk är anpassade till specialiserade uppgifter. Vi lämnar giriga kriterier-baserad beskärning med finjustering genom backpropagation-en beräkningseffektiv procedur som upprätthåller god generalisering i det beskurna nätverket. Vi föreslår ett nytt kriterium baserat på en effektiv första-order Taylor expansion för att approximera den absoluta förändringen i utbildningskostnader som orsakas av beskärning en nätverkskomponent. Efter normalisering, det föreslagna kriteriet skalar på lämpligt sätt över alla skikt av en djup CNN, vilket eliminerar behovet av per-lager känslighetsanalys. Det föreslagna kriteriet visar på överlägsen prestanda jämfört med andra kriterier, såsom normen för kärnvikter eller genomsnittlig funktionskartaktivering.
REF ) använda Taylor expansion för att ungefärliga förändringen i kostnadsfunktionen framkallas av beskärning filter.
Pruning Convolutional Neural Networks for Resource Efficient Transfer Learning
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Computer Science']}