Vi visar att det finns betydande redundans i parameteriseringen av flera djupt lärande modeller. Med bara ett fåtal viktvärden för varje funktion är det möjligt att exakt förutsäga de återstående värdena. Dessutom visar vi att parametervärdena inte bara kan förutsägas, utan många av dem behöver inte läras alls. Vi tränar flera olika arkitekturer genom att lära oss bara ett litet antal vikter och förutsäga resten. I bästa fall kan vi förutsäga mer än 95% av vikterna i ett nätverk utan någon nedgång i noggrannhet.
REF visade att genom att förutsäga parametrar i neurala nätverk finns det stor redundans i mängden parametrar som används.
Predicting Parameters in Deep Learning
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Mathematics', 'Computer Science']}