Neurala nätverk är både beräkningsintensiva och minnesintensiva, vilket gör dem svåra att distribuera på inbyggda system. Dessutom, konventionella nätverk fixa arkitekturen innan utbildningen börjar; som ett resultat, utbildning kan inte förbättra arkitekturen. För att ta itu med dessa begränsningar beskriver vi en metod för att minska lagring och beräkning som krävs av neurala nätverk av en storleksordning utan att påverka deras noggrannhet, genom att lära sig endast viktiga anslutningar. Vår metod beskär redundanta anslutningar med hjälp av en trestegsmetod. För det första utbildar vi nätverket för att lära oss vilka anslutningar som är viktiga. Därefter beskär vi de oviktiga kopplingarna. Slutligen omskolar vi nätverket för att finjustera vikterna för de återstående anslutningarna. På ImageNet dataset, vår metod minskade antalet parametrar för AlexNet med en faktor på 9×, från 61 miljoner till 6,7 miljoner, utan att ådra sig noggrannhet förlust. Liknande experiment med VGG16 fann att nätverket som helhet kan minskas 13×, igen utan förlust av noggrannhet.
Till exempel föreslog Ref en metod för att minska det totala antalet parametrar och operationer för hela nätet.
Learning both Weights and Connections for Efficient Neural Networks
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Computer Science']}