Framgången med djupa neurala nätverk i många verkliga tillämpningar leder till nya utmaningar när det gäller att bygga effektivare arkitekturer. Ett effektivt sätt att göra nätverk mer effektiva är neurala nätverk kompression. Vi ger en översikt över befintliga neurala nätverk komprimeringsmetoder som kan användas för att göra neurala nätverk mer effektiva genom att ändra arkitekturen i nätverket. För det första introducerar vi ett nytt sätt att kategorisera alla publicerade komprimeringsmetoder, baserat på mängden data och beräkna som behövs för att metoderna ska fungera i praktiken. Detta är tre "nivåer av kompressionslösningar". För det andra ger vi en taxonomi av tensor factorization baserade och probabilistiska kompressionsmetoder. Slutligen gör vi en omfattande utvärdering av olika kompressionstekniker från litteraturen för modeller som är utbildade på ImageNet. Vi visar att SVD- och probabilistiska komprimerings- eller beskärningsmetoder kompletterar varandra och ger de bästa resultaten av alla använda metoder. Vi erbjuder också praktiska sätt att kombinera dem.
En översikt över dessa metoder finns i REF.
Taxonomy and Evaluation of Structured Compression of Convolutional Neural Networks
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Mathematics', 'Computer Science']}