Abstract-We undersöka användningen av inforination från alla andra orderderivat av felfunktionen för att utföra nätverk beskärning (dvs., renoving oviktiga vikter fi*om ett utbildat nätverk) för att förbättra generalisering, siniplify nätverk, minska hårdvaru- eller lagringskrav, öka hastigheten på vidareutbildning. och i så fall möjliggöra regelextrahering. Vår metod, Optimal Brain Surgeon (OBS), är betydligt bättre än magnitudbaserade metoder och Optimal Brain Damage, som ofta tar bort fel vikter. OBS tillåter beskärning av fler vikter än andra metoder (för samma fel på träningssetet) och ger därmed bättre generalizatioii på testdata. Avgörande för OBS är ett rekursionsförhållande för beräkning av den inversa hessianska matrisen H-' från träningsdata och strukturell information om nätet. OBS tillåter en 76%, en 62%, och en 90% minskning av vikter över backpropagation med viktfall på tre riktmärke MONK problem. Av OBS, Optimal hjärnskada, och en magnitudbaserad metod, tar endast OBS bort rätt vikter från ett tränat XOR-nätverk i varje fall. Slutligen, medan Sejnowski och Rosenberg använde 18.000 vikter i sitt NETtalk nätverk, använde vi OBS för att beskära ett nätverk till bara 1.560 vikter, vilket ger bättre generalisering.
En av de tidigaste framgångarna är den optimala hjärnkirurgen approach REF.
Optimal Brain Surgeon and general network pruning
{'venue': 'IEEE International Conference on Neural Networks', 'journal': 'IEEE International Conference on Neural Networks', 'mag_field_of_study': ['Computer Science']}