Kanalbeskärning är en viktig familj av metoder för att påskynda den djupa modellens slutledning. Tidigare filterbeskärningsalgoritmer betraktar kanalbeskärning och modell finjustering som två oberoende steg. I detta dokument hävdas det att en kombination av dem till ett enda system som kan utbildas från början till slut kommer att leda till bättre resultat. Vi föreslår ett effektivt kanalvallager, nämligen AutoPruner, för att automatiskt hitta mindre viktiga filter på ett gemensamt träningssätt. Vår AutoPruner tar tidigare aktiveringssvar som en ingång och genererar en sann binär indexkod för beskärning. Därför kan alla filter som motsvarar nollindexvärden tas bort på ett säkert sätt efter träning. Vi visar empiriskt att gradientinformationen i detta kanalurvalsskikt också är till hjälp för hela modellträningen. Genom att gradvis radera flera svaga filter kan vi förhindra en överdriven minskning av modellnoggrannheten. Jämfört med tidigare toppmoderna beskärningsalgoritmer (inklusive träning från grunden) uppnår AutoPruner betydligt bättre prestanda. Dessutom visar ablation experiment att den föreslagna nya mini-batch pooling och binarization operationer är avgörande för framgången med filterbeskärning.
Luo m.fl. REF utformade ett effektivt kanalurvalsskikt för att hitta mindre viktiga filter på ett end-to-end-sätt.
AutoPruner: An End-to-End Trainable Filter Pruning Method for Efficient Deep Model Inference
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Computer Science', 'Mathematics']}