Deep Neural Networks som är utbildade på stora dataset kan enkelt överföras till nya domäner med mycket färre märkta exempel genom en process som kallas finjustering. Detta har fördelen att representationer som man lärt sig i den stora källdomänen kan utnyttjas på mindre måldomäner. Nätverk som är utformade för att vara optimala för källuppgiften är dock ofta oöverkomligt stora för måluppgiften. I detta arbete behandlar vi komprimering av nätverk efter domänöverföring. Vi fokuserar på komprimeringsalgoritmer baserade på lågvärdig matris sönderdelning. Befintliga metoder baserar komprimering enbart på inlärda nätverksvikter och ignorerar statistiken över nätverksaktiveringar. Vi visar att domänöverföring leder till stora förändringar i nätverksaktiveringar och att det är önskvärt att ta hänsyn till detta när man komprimerar. Vi visar att med tanke på aktiveringsstatistiken när man komprimerar vikter leder det till ett rangfast regressionsproblem med en sluten lösning. Eftersom vår metod tar hänsyn till måldomänen, kan den mer optimalt ta bort redundansen i vikterna. Experiment visar att vår Domain Adaptive Low Rank (DALR) metod avsevärt överträffar befintliga lågrankade kompressionstekniker. Med vår strategi, kan fc6 lagret av VGG19 komprimeras mer än 4x mer än med trunkerad SVD ensam - med endast en mindre eller ingen förlust i noggrannhet. När det tillämpas på domänöverförda nätverk möjliggör det komprimering ner till endast 5-20 % av det ursprungliga antalet parametrar med endast en mindre minskning i prestanda.
På liknande sätt, Masana et al. I REF föreslogs en adaptiv nedbrytningsmetod med låg rankning, som tog hänsyn till aktiveringsstatistiken för den nya domänen.
Domain-Adaptive Deep Network Compression
{'venue': '2017 IEEE International Conference on Computer Vision (ICCV)', 'journal': '2017 IEEE International Conference on Computer Vision (ICCV)', 'mag_field_of_study': ['Computer Science']}