Modellbeskärning syftar till att inducera gleshet i ett djupt neuralt nätverk olika anslutning matriser, vilket minskar antalet icke-noll-värderade parametrar i modellen. Nya rapporter (Han et al., 2015a; Narang et al., 2017) beskära djupa nätverk till priset av endast en marginell förlust i noggrannhet och uppnå en betydande minskning av modellstorlek. Detta tyder på möjligheten att baslinjemodellerna i dessa experiment kanske är kraftigt överparameteriserade i början och ett praktiskt alternativ för modellkompression kan vara att helt enkelt minska antalet dolda enheter samtidigt som modellens täta anslutningsstruktur bibehålls, vilket exponerar en liknande kompromiss i modellstorlek och noggrannhet. Vi undersöker dessa två distinkta vägar för modellkompression inom ramen för energieffektiv inferens i resursanpassade miljöer och föreslår en ny gradvis beskärningsteknik som är enkel och enkel att tillämpa för en mängd olika modeller/dataset med minimal inställning och som kan integreras sömlöst i utbildningsprocessen. Vi jämför noggrannheten hos stora, men beskurna modeller (stor-sparse) och deras mindre, men täta (liten-dense) motsvarigheter med identiska minnesavtryck. Över ett brett spektrum av neurala nätverk arkitekturer (djupa CNNs, staplade LSTM, och följande 2seq LSTM modeller), hittar vi stora-sparse modeller för att konsekvent överträffa små-dense modeller och uppnå upp till 10x minskning av antalet icke-noll parametrar med minimal förlust i noggrannhet.
Författarna till REF visade att stora-spars modeller överträffar små-densiga modeller.
To prune, or not to prune: exploring the efficacy of pruning for model compression
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Mathematics', 'Computer Science']}