Abstrakt. Medan forskningen om konvolutionella neurala nätverk (CNN) fortskrider snabbt, är den verkliga utbyggnaden av dessa modeller ofta begränsad av datorresurser och minnesbegränsningar. I detta dokument tar vi upp denna fråga genom att föreslå en ny filterbeskärningsmetod för att komprimera och påskynda CNN. Vårt arbete är baserat på den linjära relation som identifierats i olika funktionskarta subrymder genom visualisering av funktionskartor. Ett sådant linjärt förhållande innebär att informationen i CNN är överflödig. Vår metod eliminerar redundansen i konvolutionsfilter genom att applicera subrymdskluster på funktionskartor. På så sätt kan merparten av den representativa informationen i nätverket bevaras i varje kluster. Därför ger vår metod en effektiv lösning för att filtrera beskärning för vilken de flesta befintliga metoder direkt tar bort filter baserat på enkla heuristik. Den föreslagna metoden är oberoende av nätverksstrukturen, vilket innebär att den kan antas av alla bibliotek för djupinlärning. Experiment på olika nätverk och uppgifter visar att vår metod överträffar befintliga tekniker innan finjustering, och uppnår de senaste resultaten efter finjustering.
REF undersöker det linjära förhållande som identifierats i olika funktionskarta för att eliminera redundansen i konvolutionsfilter.
Exploring Linear Relationship in Feature Map Subspace for ConvNets Compression
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Computer Science']}