Hur man utvecklar smala och exakta djupa neurala nätverk har blivit avgörande för realworld applikationer, särskilt för dem som används i inbyggda system. Även om tidigare arbete längs denna forskningslinje har visat några lovande resultat, de flesta befintliga metoder antingen misslyckas med att avsevärt komprimera ett vältränat djupt nätverk eller kräver en tung omskolningsprocess för det beskurna djupa nätverket för att starta om sin förutsägelse prestanda. I detta dokument föreslår vi en ny skiktvis beskärningsmetod för djupa neurala nätverk. I vår föreslagna metod beskärs parametrarna för varje enskilt lager självständigt baserat på andra ordningens derivat av en lagermässigt felfunktion med avseende på motsvarande parametrar. Vi bevisar att den slutliga förutsägelsen prestanda sjunker efter beskärning begränsas av en linjär kombination av de rekonstruerade fel som orsakas vid varje lager. Därför finns det en garanti för att man bara behöver genomföra en lätt omskolningsprocess på det beskurna nätet för att återuppta sin ursprungliga förutsägelse. Vi utför omfattande experiment på referensdataset för att visa effektiviteten i vår beskärningsmetod jämfört med flera toppmoderna basmetoder.
REF genomför beskärning baserad på andra ordningens derivat av en lagervis felfunktion.
Learning to Prune Deep Neural Networks via Layer-wise Optimal Brain Surgeon
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Computer Science']}