Neurala nätverk beskärning tekniker kan minska parameterantalet utbildade nätverk med över 90%, minska lagringskrav och förbättra beräkningen prestanda inference utan att kompromissa noggrannhet. Nutidserfarenheten är dock att de sparsamma arkitekturer som produceras genom beskärning är svåra att träna från början, vilket på liknande sätt skulle förbättra träningens prestanda. Vi finner att en standardteknik för beskärning av vikter naturligt avslöjar undernätverk vars initialiseringar gjorde dem kapabla att träna effektivt. Baserat på dessa resultat, vi artikulera lotthypotesen: täta, slumpmässigt initierade feed-forward nätverk innehåller undernätverk (vinnande biljetter) som-när tränas i isolering-anlända på jämförbar testnoggrannhet i ett jämförbart antal iterationer. De vinnande biljetter vi hittar har vunnit initiering lotteri: deras anslutningar har inledande vikter som gör utbildningen särskilt effektiv. Vi presenterar en algoritm för att identifiera vinnande biljetter och en serie experiment som stöder lotthypotesen och betydelsen av dessa slumpmässiga initieringar. Vi hittar konsekvent vinnande biljetter som är mindre än 10-20% av storleken på flera fullt anslutna och konvolutionella feed-forward arkitekturer för MNIST och CIFAR10. Dessutom, de vinnande biljetter vi hittar ovanför den storleken lär sig snabbare än det ursprungliga nätverket och uppvisar högre testnoggrannhet. ArXiv:1803.036335v4 [cs.LG] 27 nov 2018 1. Slumpmässigt initiera ett neuralt nätverk f (x;  på 0 ) (där 0  på D). 2. Utgångspunkten är följande: Träna nätverket för j iterationer, nå parametrar  på j. 3. Vad är det som händer? Prune s% av parametrarna, vilket skapar en mask m där P m = (100 − s)%. 4. Vad är det som händer? För att extrahera den vinnande biljetten, återställa de återstående parametrarna till sina värden i 0, skapa det otränade nätverket f (x; m 0 ). Om täta nätverk innehåller vinnande biljetter och beskärning avslöjar dem, då nätverket f (x; m  på 0 )när tränas för j iterationer-kommer att nå liknande noggrannhet som f (x;  på j ) minst lika snabbt, och m kommer att vara alltför sparsamt för en slumpmässigt reinitaliserade eller slumpmässigt-sparsifierade nätverk för att göra samma. Resultat. Vi identifierar vinnande biljetter i en fullt ansluten arkitektur för MNIST och convolutional arkitekturer för CIFAR10 över flera optimeringsstrategier (SGD, momentum, och Adam) med tekniker som avhopp, vikt förfall, och batchnorm. I djupare nätverk är vår beskärningsbaserade strategi för att hitta vinnande biljetter känslig för inlärningsgraden: det krävs uppvärmning för att hitta vinnande biljetter till högre inlärningshastigheter. De vinnande biljetter vi hittar är 10-20% (eller mindre) av storleken på
Lotteribiljetthypotesen REF påpekar först att ett litet delnätverk, som kallas den vinnande biljetten, kan identifieras genom beskärning av ett fullt utbildat tätt nätverk; när man tränar den isolering med samma vikt initialisering när den tilldelats motsvarande vikter i det täta nätverket, kan man återställa den jämförbara testnoggrannheten till det täta nätverket.
The Lottery Ticket Hypothesis: Finding Sparse, Trainable Neural Networks
{'venue': 'ICLR 2019', 'journal': None, 'mag_field_of_study': ['Mathematics', 'Computer Science']}