Abstrakt. Neural nätverk komprimering har nyligen fått mycket uppmärksamhet på grund av de beräkningskrav moderna djupa modeller. I detta arbete är vårt mål att överföra kunskap från en djup och exakt modell till en mindre. Våra bidrag är trefaldiga: (i) vi föreslår en kontradiktorisk nätverkskompressionsmetod för att utbilda det lilla studentnätverket för att härma den stora läraren, utan behov av etiketter under utbildningen; (ii) vi inför ett legaliseringsprogram för att förhindra en trivialt stark discriminator utan att minska nätverkskapaciteten och (iii) vårt tillvägagångssätt generaliseras på olika modeller lärare-studenter. I en omfattande utvärdering av fem standarddatauppsättningar visar vi att vår student har liten noggrannhetsförlust, uppnår bättre prestanda än andra kunskapsöverföringsmetoder och överträffar prestandan hos samma nätverk som utbildats med etiketter. Dessutom visar vi de senaste resultaten jämfört med andra kompressionsstrategier.
REF använde också denna idé för att överföra kunskap från större nätverk till mycket ytligare nätverk med kontradiktorisk förlust.
Adversarial Network Compression
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Computer Science']}