Djupa konvolutionella neurala nätverk har befriat sin extraordinära kraft på olika uppgifter. Det är dock fortfarande mycket svårt att distribuera toppmoderna modeller i verkliga tillämpningar på grund av deras höga beräknings komplexitet. Hur kan vi utforma ett kompakt och effektivt nätverk utan massiva experiment och expertkunskaper? I detta dokument föreslår vi en enkel och effektiv ram för att lära sig och beskära djupa modeller på ett heltäckande sätt. I vårt ramverk introduceras först en ny typ av parameterskalningsfaktor för att skala utdata från specifika strukturer, såsom neuroner, grupper eller restblock. Sedan lägger vi till sparsitetsregleringar på dessa faktorer, och löser detta optimeringsproblem med en modifierad stokastisk Accelererad Proximal Gradient (APG) metod. Genom att tvinga några av faktorerna till noll kan vi på ett säkert sätt ta bort motsvarande strukturer och därmed beskära de oviktiga delarna av ett CNN. Jämfört med andra struktururvalsmetoder som kan behöva tusentals försök eller iterativ finjustering, tränas vår metod helt end-to-end i ett träningspass utan klockor och visselpipor. Vi utvärderar vår metod, Sparse Structure Selection med två toppmoderna CNNs ResNet och ResNeXt, och demonstrerar mycket lovande resultat med adaptivt djup och breddval.
Huang och Wang REF lägger till sparsity regularization och en modifierad Accelererad Proximal Gradient på skalningsfaktorer i träningsstadiet.
Data-Driven Sparse Structure Selection for Deep Neural Networks
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Computer Science']}