Nätbeskärning används i stor utsträckning för att minska de tunga beräkningskostnaderna för djupa modeller. En typisk beskärningsalgoritm är en trestegs pipeline, dvs. utbildning (en stor modell), beskärning och finjustering. Vid beskärning, enligt ett visst kriterium, redundanta vikter beskärs och viktiga vikter hålls för att bäst bevara noggrannheten. I detta arbete gör vi flera överraskande observationer som motsäger vanliga uppfattningar. För alla de sex toppmoderna beskärningsalgoritmerna vi undersökte ger finjustering av en beskuren modell bara jämförbar eller ännu sämre prestanda än att träna den modellen med slumpmässigt initierade vikter. För beskärning algoritmer som antar en fördefinierad målnätverk arkitektur, kan man bli av med hela rörledningen och direkt träna målnätverket från grunden. Våra observationer är konsekventa för ett brett utbud av beskärningsalgoritmer med flera nätverksarkitekturer, datauppsättningar och uppgifter. Våra resultat har flera implikationer: 1) att träna en stor, överparameteriserad modell är inte nödvändigt för att få en effektiv slutmodell, 2) att lära sig "viktiga" vikter av den stora modellen är inte nödvändigtvis användbara för den lilla beskurna modellen, 3) den beskurna arkitekturen själv, snarare än en uppsättning nedärvda "vikter", är vad som leder till effektivitetsvinsten i den slutliga modellen, vilket tyder på att vissa beskärningsalgoritmer kan ses som att utföra sökning av nätverksarkitektur. I detta arbete visar vi att båda de trosuppfattningar som nämns ovan inte nödvändigtvis är sanna. Baserat på en omfattande empirisk utvärdering av toppmoderna beskärningsalgoritmer på flera datauppsättningar med flera nätverksarkitekturer, gör vi två överraskande observationer. För det första, för beskärning algoritmer med fördefinierade mål nätverk arkitekturer (Figur 2), direkt utbildning den lilla målmodellen från slumpmässig initiering kan uppnå samma, om inte bättre, prestanda, som den modell som erhålls från tre steg pipeline. I detta fall är det inte nödvändigt att börja med en stor modell och man kunde i stället direkt träna målmodellen från grunden. För det andra, för beskärning algoritmer utan ett fördefinierat målnätverk, utbildning den beskurna modellen från scratch kan också uppnå jämförbara eller till och med bättre prestanda än finjustering. Denna observation visar att för dessa beskärningsalgoritmer är det viktiga den erhållna arkitekturen, i stället för de bevarade vikterna, trots att den stora modellen krävs för att hitta den målarkitekturen. Motsättningen mellan våra resultat och de som rapporteras i litteraturen kan förklaras med mindre noga valda hyperparametrar, system för dataförstärkning och orättvis beräkningsbudget för utvärdering av denna baslinjemetod. Fördefinierad: plommon x% kanaler i varje lager Automatisk: plommon a%, b%, c%, d% kanaler i varje lager A 4-lager modell
Nyligen föreslår Ref att de viktigaste fördelarna med beskärning i första hand kommer från den identifierade arkitekturen.
Rethinking the Value of Network Pruning
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Mathematics', 'Computer Science']}