De konvolutionella skikten är byggstenar i neurala nätverksarkitekturer. I allmänhet gäller ett konvolutionsfilter för hela frekvensspektrumet för ingångsdata. Vi utforskar artificiellt begränsa frekvensspektra av dessa filter och data, kallas band-limiting, under träning. Gränserna för frekvensdomänen gäller både för Food-framåt- och back-förökningsstegen. Experimentellt observerar vi att Convolutional Neural Networks (CNN) är motståndskraftiga mot detta komprimeringssystem och resultat tyder på att CNN lär sig att utnyttja komponenter med lägre frekvens. I synnerhet fann vi: (1) bandbegränsad utbildning kan effektivt styra resursanvändningen (GPU och minne); (2) modeller tränade med bandbegränsade lager behåller hög förutsägelsenoggrannhet; och (3) kräver ingen ändring av befintliga utbildningsalgoritmer eller neurala nätverksarkitekturer att använda till skillnad från andra kompressionssystem.
REF begränsar frekvensspektrumet för CNN-kärnor för att minska minnesförbrukningen.
Band-limited Training and Inference for Convolutional Neural Networks
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Mathematics', 'Computer Science']}