Stor efterfrågan på beräkningsresurser hindrar i hög grad utbyggnaden av storskaliga Deep Neural Networks (DNN) i resursbegränsade enheter. I detta arbete föreslår vi en strukturerad sparsity Learning (SSL) metod för att reglera strukturer (dvs. filter, kanaler, filter former, och lagerdjup) av DNNs. SSL kan: (1) lära sig en kompakt struktur från en större DNN för att minska beräkningskostnaderna; (2) få en hårdvaruvänlig strukturerad sparhet av DNN för att effektivt påskynda DNN: s utvärdering. Experimentella resultat visar att SSL uppnår i genomsnitt 5,1× och 3,1× speedups av convolutional lagerberäkning av AlexNet mot CPU respektive GPU, med off-the-shelf bibliotek. Dessa uppfarter är ungefär dubbelt så snabba som de icke-strukturerade glesheterna; (3) regularisera DNN-strukturen för att förbättra klassificeringsnoggrannheten. Resultaten visar att för CIFAR-10 kan legalisering på lagerdjup minska 20 lager av ett Deep Residual Network (ResNet) till 18 lager samtidigt som noggrannheten förbättras från 91,25 % till 92,60 %, vilket fortfarande är något högre än för original ResNet med 32 lager. För AlexNet minskar strukturregleringen genom SSL också felet med 1%. Vår källkod finns på https://github.com/wenwei202/caffe/tree/scnn
Wen m.fl. REF utvecklat Structured Sparsity Learning (SSL), som legaliserar arkitekturen hos en förtränad DNN för att uppnå uppfarter i slutledning.
Learning Structured Sparsity in Deep Neural Networks
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Computer Science', 'Mathematics']}