Konvolutionella neurala nätverk (CNN) är beräkningsintensiva, vilket begränsar deras tillämpning på mobila enheter. Deras energi domineras av antalet multiplier som behövs för att utföra konvolutionerna. Winograds minimala filtreringsalgoritm (Lavin, 2015) och nätverksbeskärning (Han et al., 2015) kan minska antalet operationer, men dessa två metoder kan inte direkt kombineras -tillämpa Winogradtransform fyller i glesheten i både vikter och aktiveringar. Vi föreslår två ändringar av CNN baserade på Winograd för att göra det möjligt för dessa metoder att utnyttja sparsamhet. För det första flyttar vi ReLU-operationen till Winograd-domänen för att öka sparsamheten i de omvandlade aktiveringarna. För det andra beskär vi vikterna i Winograd-domänen för att utnyttja statisk vikt sparhet. För modeller på CIFAR-10, CIFAR-100 och ImageNet dataset, minskar vår metod antalet multiplikationer med 10,4×, 6,8× respektive 10,8× med förlust av noggrannhet mindre än 0,1%, överträffar tidigare baslinjer med 2,0×-3,0×. Vi visar också att flytta ReLU till Wiengrad domän tillåter mer aggressiv beskärning.
Liu m.fl. REF återställer aktiveringsglesheten genom att tillämpa ReLU på aktiveringen efter att ha omvandlats till Winograd-utrymmet.
Efficient Sparse-Winograd Convolutional Neural Networks
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Computer Science']}