Vi föreslår en praktisk metod för L 0 norm legalisering för neurala nätverk: beskära nätverket under utbildning genom att uppmuntra vikter att bli exakt noll. Sådan legalisering är intressant eftersom (1) det kan kraftigt påskynda utbildning och slutsatser, och (2) det kan förbättra generaliseringen. AIC och BIC, välkända modell urvalskriterier, är specialfall av L 0 legalisering. Men eftersom viktnormen L 0 är icke-differentierad, kan vi inte införliva den direkt som en legaliseringsbegrepp i den objektiva funktionen. Vi föreslår en lösning genom att inkludera en samling icke-negativa stokastiska grindar, som kollektivt bestämmer vilka vikter som ska sättas till noll. Vi visar att, något överraskande, för vissa fördelningar över portarna, den förväntade L 0 normen av den resulterande gated vikter är olika med avseende på fördelning parametrar. Vi föreslår vidare den hårda betongfördelningen för portarna, som erhålls genom att "sträcka" en binär betongfördelning och sedan omvandla sina prover med en hård-sigmoid. Parametrarna för fördelningen över grindarna kan sedan gemensamt optimeras med de ursprungliga nätverksparametrarna. Som ett resultat av detta möjliggör vår metod enkel och effektiv inlärning av modellstrukturer med stokastisk lutning nedstigning och möjliggör villkorlig beräkning på ett principfast sätt. Vi utför olika experiment för att visa effektiviteten av det resulterande tillvägagångssättet och regularizer. * Arbete gjort under internering på OpenAI.
REF förlänger det rakt igenom tricket med en hård sigmoid för att få mindre partiska uppskattningar av lutningen.
Learning Sparse Neural Networks through $L_0$ Regularization
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Computer Science', 'Mathematics']}