Eftersom de djupa näten i allt högre grad används i tillämpningar som lämpar sig för mobila enheter blir ett grundläggande dilemma uppenbart: tendensen i det djupa lärandet är att växa modeller för att absorbera allt större datamängder, men mobila enheter är utformade med mycket lite minne och kan inte lagra så stora modeller. Vi presenterar en ny nätverksarkitektur, HashedNets, som utnyttjar inneboende redundans i neurala nätverk för att uppnå drastiska minskningar i modellstorlekar. HashedNets använder en hashfunktion med låg kostnad för att slumpmässigt gruppera anslutningsvikter i hashskopor, och alla anslutningar inom samma hashskopa delar ett enda parametervärde. Dessa parametrar är anpassade för att anpassa sig till HashedNets viktdelningsarkitektur med standard backprop under träningen. Vår hashing procedur inför inga ytterligare minne overhead, och vi visar på flera riktmärkesdata som HashedNets krymper lagringskraven för neurala nätverk avsevärt samtidigt mestadels bevara generalisering prestanda.
REF presenterar HashNets, ett nytt ramverk för att minska redundans i neurala nätverk.
Compressing Neural Networks with the Hashing Trick
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Mathematics', 'Computer Science']}