Hur mycket kan beskärningsalgoritmer lära oss om grunderna för inlärning representationer i neurala nätverk? Mycket, visar det sig. Neural nätverksmodell kompression har blivit ett ämne av stort intresse under de senaste åren, och många olika tekniker har föreslagits för att ta itu med detta problem. I allmänhet motiveras detta av tanken att mindre modeller vanligtvis leder till bättre generalisering. Samtidigt tvingar beslutet om vad man ska beskära och när man ska beskära oss nödvändigtvis att konfrontera våra antaganden om hur neurala nätverk faktiskt lär sig att representera mönster i data. I detta arbete föresatte vi oss att testa flera långvariga hypoteser om neurala nätverk lärande representationer och numeriska metoder för beskärning. För att åstadkomma detta granskade vi först den historiska litteraturen och härledde en ny algoritm för att beskära hela neuroner (i motsats till den traditionella metoden för beskärningsvikter) från optimalt utbildade nätverk med hjälp av en andra ordningens Taylor metod. Vi bestämde oss sedan för att testa prestandan hos vår algoritm och analysera kvaliteten på de beslut den fattade. Som baslinje för jämförelse använde vi en första ordningen Taylor metod baserad på Skeletonisering algoritm och en uttömmande brute-force seriell beskärning algoritm. Vår föreslagna algoritm fungerade bra jämfört med en första ordningen metod, men inte nästan lika bra som brute-force metoden. Vår felanalys fick oss att ifrågasätta giltigheten av många allmänt hållna antaganden bakom beskärningsalgoritmer i allmänhet och de kompromisser vi ofta gör för att minska komplexiteten i beräkningen. Vi upptäckte att det finns ett enkelt sätt, hur dyrt det än är, att seriellt beskära 40-70% av nervcellerna i ett utbildat nätverk med minimal effekt på inlärningsrepresentationen och utan någon omskolning.
REF använde andra ordningen Taylor information för att beskära neuroner.
The Incredible Shrinking Neural Network: New Perspectives on Learning Representations Through The Lens of Pruning
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Computer Science']}