Konvolutionella neurala nätverk (CNN) används alltmer inom många områden av datorseende. De är särskilt attraktiva på grund av sin förmåga att "absorbera" stora mängder märkta data genom miljontals parametrar. I takt med att modellstorlekarna ökar ökar också kraven på lagring och minne för klassificeringarna, vilket hindrar många tillämpningar såsom bild- och taligenkänning på mobiltelefoner och andra enheter. I detta dokument presenterar vi en ny nätverksarkitektur, Frequency-Sensitive Hashed Nets (FreshNets), som utnyttjar inneboende redundans i både konvolutionella lager och fullt anslutna lager av en djupt lärande modell, vilket leder till dramatiska besparingar i minne och lagringsförbrukning. Baserat på den viktiga observationen att vikterna av inlärda konvolutionsfilter vanligtvis är släta och lågfrekventa, konverterar vi först filtervikter till frekvensdomänen med en diskret cosinustransform (DCT) och använder en lågkostnadshashfunktion för att slumpmässigt gruppera frekvensparametrar till hashskopor. Alla parametrar tilldelas samma hash hink dela ett enda värde lärt med standard backpropagation. För att ytterligare minska modellstorleken fördelar vi färre hashskopor till högfrekventa komponenter, som i allmänhet är mindre viktiga. Vi utvärderar FreshNets på åtta datamängder, och visar att det leder till bättre komprimerad prestanda än flera relevanta baslinjer.
REF minskar lagringsutrymmet genom att omvandla filtervikter till frekvensdomänen och genom att använda en hashfunktion för att gruppera frekvensparametrarna till hashskopor.
Compressing Convolutional Neural Networks in the Frequency Domain
{'venue': "KDD '16", 'journal': None, 'mag_field_of_study': ['Computer Science']}