Layer-wise magnitud-baserad beskärning (LMP) är en mycket populär metod för djup neural nätverk (DNN) komprimering. Att justera de skiktspecifika tröskelvärdena är dock en svår uppgift, eftersom utrymmet för tröskelkandidater är exponentiellt stort och utvärderingen är mycket dyr. Tidigare metoder är främst för hand och kräver expertis. I detta dokument föreslår vi en automatisk inställningsmetod baserad på optimering, kallad OLMP. Tanken är att omvandla problemet med tröskelinställning till ett begränsat optimeringsproblem (dvs. minimera storleken på den beskurna modellen under förutsättning att noggrannhetsförlusten begränsas), och sedan använda kraftfulla derivatfria optimeringsalgoritmer för att lösa det. För att komprimera en utbildad DNN utförs OLMP inom en ny iterativ beskärning och justering pipeline. Empiriska resultat visar att OLMP kan uppnå det bästa beskärning förhållandet på LeNet-stil modeller (dvs. 114 gånger för LeNet-300-100 och 298 gånger för LeNet-5) jämfört med vissa toppmoderna DNN beskärningsmetoder, och kan minska storleken på en AlexNet-stil nätverk upp till 82 gånger utan noggrannhetsförlust.
REF föreslog en optimeringsalgoritm för att automatiskt justera beskärningströsklarna för magnitudbaserade beskärningsmetoder.
Optimization based Layer-wise Magnitude-based Pruning for DNN Compression
{'venue': 'IJCAI', 'journal': None, 'mag_field_of_study': ['Computer Science']}