Principal Filter Analysis (PFA) är en enkel att genomföra, men effektiv metod för neural nätverk komprimering. PFA utnyttjar den inneboende korrelationen mellan filtersvar inom nätverkslager för att rekommendera ett mindre nätverksavtryck. Vi föreslår två komprimeringsalgoritmer: den första tillåter en användare att ange andelen av den ursprungliga spektralenergin som bör bevaras i varje lager efter komprimering, medan den andra är en heuristisk som leder till en parameterfri metod som automatiskt väljer den komprimering som används vid varje lager. Båda algoritmerna utvärderas mot flera arkitekturer och datauppsättningar, och vi visar betydande komprimeringshastigheter utan att kompromissa noggrannhet, t.ex. för VGG-16 på CIFAR-10, CIFAR-100 och ImageNet, PFA uppnår en komprimeringshastighet på 8x, 3x och 1,4x med en noggrannhetsvinst på 0,4%, 1,4% respektive 2,4%. I våra tester visar vi också att nätverk som komprimeras med PFA uppnår en noggrannhet som ligger mycket nära den empiriska övre gränsen för ett givet kompressionsförhållande. Slutligen visar vi hur PFA är ett effektivt verktyg för samtidig komprimering och domänanpassning.
Mer nyligen, Suau et al. REF föreslog att analysera filtersvar för att automatiskt välja komprimeringsmetoder för varje lager.
NETWORK COMPRESSION USING CORRELATION ANALYSIS OF LAYER RESPONSES
{'venue': None, 'journal': 'arXiv: Computer Vision and Pattern Recognition', 'mag_field_of_study': ['Computer Science']}