I detta papper tillämpar vi en kompressibilitet förlust som gör det möjligt att lära sig mycket kompressibla neurala nätverksvikter. Förlusten föreslogs tidigare som ett mått på negativ gleshet av en signal, men i detta dokument visar vi att minimering av denna förlust också tvingar icke-noll delar av signalen att ha mycket låg entropi, vilket gör hela signalen mer komprimerad. För ett optimeringsproblem där målet är att minimera kompressibilitetsförlusten (målet), bevisar vi att viktvektorn vid varje kritisk punkt i målet är en ternära signal och det motsvarande värdet av målet är kvadratroten av antalet icke-nollelement i signalen, vilket är direkt relaterat till gleshet. I experimenten tränar vi neurala nätverk med kompressibilitetsförlust och vi visar att den föreslagna metoden uppnår vikt sparhet och kompressionsförhållanden jämförbara med state-of-the-art.
I REF föreslog vi att man skulle använda en del av den term som föreslås i detta dokument, men som tillämpas på neurala näts vikter.
Compressibility Loss for Neural Network Weights
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Computer Science', 'Mathematics']}