Neurala nätverk kan komprimeras för att minska kraven på minne och beräkning, eller för att öka noggrannheten genom att underlätta användningen av en större basarkitektur. I detta papper fokuserar vi på beskärning av enskilda neuroner, som samtidigt kan trimma modellstorlek, FLOPs, och run-time minne. För att förbättra prestandan hos befintliga komprimeringsalgoritmer använder vi principen om informationshals omedelbart via en dragbar variationsbegränsning. Minimering av denna information Teoretisk bindning minskar redundansen mellan angränsande lager genom att samla användbar information i en undergrupp av neuroner som kan bevaras. I kontrast, aktiveringar av engångsneuroner stängs av via en attraktiv form av gles legalisering som uppstår naturligt från detta ramverk, vilket ger påtagliga fördelar jämfört med traditionella gleshet straff utan att bidra med ytterligare inställning parametrar till energilandskapet. Vi demonstrerar toppmoderna komprimeringshastigheter över en rad datauppsättningar och nätverksarkitekturer.
Dai m.fl. REF beskurna enskilda neuroner via varierande IB så att redundans mellan angränsande skikt minimerades genom att samla användbar information i en undergrupp av neuroner.
Compressing Neural Networks using the Variational Information Bottleneck
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Computer Science']}