Djupa konvolutionella neurala nätverk (CNN) har blivit den mest lovande metoden för objektigenkänning, upprepade gånger visar rekord bryta resultat för bildklassificering och objektdetektering under de senaste åren. Ett mycket djupt CNN omfattar dock i allmänhet många lager med miljontals parametrar, vilket gör lagringen av nätverksmodellen till extremt stor. Detta förbjuder användning av djupa CNNs på resurs begränsad hårdvara, särskilt mobiltelefoner eller andra inbyggda enheter. I detta dokument tar vi itu med denna modelllagringsfråga genom att undersöka informationsteoretiska vektorkvantiseringsmetoder för att komprimera CNN:s parametrar. I synnerhet har vi funnit i termer av komprimera de mest lagring krävande täta anslutna lager, vektorquantization metoder har en tydlig vinst över befintliga matris factorization metoder. Att helt enkelt applicera k-medelskluster på vikterna eller genomföra produktquantization kan leda till en mycket bra balans mellan modellstorlek och igenkänningsnoggrannhet. För den 1000-kategori klassificering uppgift i ImageNet utmaning, kan vi uppnå 16-24 gånger kompression av nätverket med endast 1% förlust av klassificering noggrannhet med hjälp av den senaste CNN.
Till exempel föreslog REF att k-means klustring skulle tillämpas på de tätt sammankopplade skikten och visade en bra balans mellan modellstorlek och noggrannhet.
Compressing Deep Convolutional Networks using Vector Quantization
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Computer Science']}