Att göra djupa konvolutionella neurala nätverk mer exakta kommer vanligtvis på bekostnad av ökade beräknings- och minnesresurser. I detta dokument utnyttjar vi det faktum att betydelsen av funktioner som beräknas av konvolutionsskikt är mycket input-beroende, och föreslår funktionshöjande och undertryckande (FBS), en ny metod för att förutsäga betydande konvolutionskanaler och hoppa över oviktiga sådana i körtid. FBS introducerar små hjälpanslutningar till befintliga konvolutionslager. I motsats till kanalbeskärningsmetoder som permanent tar bort kanaler, bevarar den de fullständiga nätverksstrukturerna och påskyndar konvolutionen genom att dynamiskt hoppa över oviktiga in- och utgångskanaler. FBS-augmenterade nätverk är utbildade med konventionell stokastisk lutning nedstigning, vilket gör den lätt tillgänglig för många state-of-the-art CNNs. Vi jämför FBS med en rad befintliga kanalbeskärningar och dynamiska exekveringsprogram och visar på stora förbättringar av ImageNet-klassificeringen. Experiment visar att FBS kan accelerera VGG-16 med 5× och förbättra hastigheten på ResNet-18 med 2×, båda med mindre än 0,6% topp-5 noggrannhet förlust. * Dessa författare bidrog lika mycket. Ovanstående brister föranleder frågan: Varför ska vi skrumpna av statisk betydelse, om vikten är starkt beroende av input? Visst är ett mer lovande alternativ att beskära dynamiskt beroende på den aktuella inmatningen. En dynamisk kanalbeskärningsstrategi gör det möjligt för nätverket att lära sig att prioritera vissa konvolutionskanaler och ignorera irrelevanta kanaler. I stället för att helt enkelt minska modellstorleken till priset av exakthet med beskärning, kan vi påskynda konvolution genom att selektivt beräkna endast en delmängd av kanaler som förväntas vara viktiga i körtid, samtidigt som hänsyn tas till den glesa indata från föregående konvolutionsskikt. Genom att göra detta sparar vi inte bara beräkningsresurser, vi bevarar också alla neuroner av den fullständiga modellen, vilket minimerar effekten på modellens noggrannhet.
Nyligen, en funktion öka och undertrycka metoden REF användes för att hoppa oviktiga konvolutional utgångskanaler vid körning.
Dynamic Channel Pruning: Feature Boosting and Suppression
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Computer Science']}