Vi utvärderar rigoröst tre state-of-the-art tekniker för att inducera gleshet i djupa neurala nätverk på två storskaliga lärande uppgifter: Transformer utbildad på WMT 2014 Engelsk-till-tyska, och ResNet-50 utbildad på ImageNet. Över tusentals experiment, visar vi att komplexa tekniker (Molchanov et al., 2017; Louizos et al., 2017b) visat sig ge höga komprimeringshastigheter på mindre dataset fungerar inkonsekvent, och att enkel magnitud beskärning metoder uppnå jämförbara eller bättre resultat. Baserat på insikter från våra experiment, vi uppnå en ny state-of-the-art sparity-accuracy kompromiss för ResNet-50 med hjälp av endast magnitud beskärning. Dessutom upprepar vi de experiment som utförts av Frankle & Carbin (2018) och Liu et al. (2018) i skala och visa att ostrukturerade glesa arkitekturer inlärda genom beskärning inte kan tränas från scratch till samma testuppsättning prestanda som en modell utbildad med gemensam sparifiering och optimering. Tillsammans belyser dessa resultat behovet av storskaliga riktmärken för modellkompression. Vi öppnar vår kod, topputförande modellkontroller och resultat av alla hyperparameterkonfigurationer för att etablera rigorösa baslinjer för framtida arbete med komprimering och sparifiering.
Nuvarande toppmoderna tekniker för att främja sparsamhet i DNN bygger antingen på magnitudbaserad beskärning eller Bayesian tillvägagångssätt REF.
The State of Sparsity in Deep Neural Networks
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Mathematics', 'Computer Science']}