ABSTRACT Krav på att distribuera djup neurala nätverk (DNN) modeller på mobila enheter och inbyggda system har drastiskt vuxit under de senaste åren. Vid transplantation av DNN-modeller till sådana plattformar är kraven på beräkning och minnesanvändning flaskhalsar. För att övervinna dem har nätbeskärning noggrant studerats som en metod för nätverkskomprimering. Nätbeskärningens effektivitet påverkas avsevärt av felaktig beskärning på viktiga anslutningar. I detta dokument föreslår vi en nätbeskärningsmetod baserad på den ändrade L 1/2-påföljden som minskar felaktig beskärning genom att öka sparsamheten hos de förtränade modellerna. Den ändrade L 1/2 straff ger bättre sparsamhet än L 1 straff till en liknande beräkningskostnad. Jämfört med det tidigare arbetet som numeriskt definierar betydelsen av anslutningar och återupprättar viktiga vikter när felaktig beskärning sker, uppnår vår metod snabbare konvergens genom att använda en enklare beskärningsstrategi. Resultaten av experiment visar att vår metod kan komprimera LeNet300-100, LeNet-5, ResNet, AlexNet och VGG16 med faktorer på 66×, 322×, 26×, 21×, respektive 16×, med försumbar förlust av noggrannhet. INDEX TERMS Djup inlärning, förlustfunktion, neurala nätverk, nätverksbeskärning.
I REF föreslogs en viktbaserad nätbeskärningsmetod med hjälp av den ändrade l 1/2-påföljden för att öka sparsamheten hos de förträngda modellerna.
Prune Deep Neural Networks With the Modified $L_{1/2}$ Penalty
{'venue': 'IEEE Access', 'journal': 'IEEE Access', 'mag_field_of_study': ['Computer Science']}