Framtida mobila enheter förväntas uppfatta, förstå och reagera på världen på egen hand genom att köra flera korrelerade djupa neurala nätverk on-device. Men komplexiteten i dessa neurala nätverk måste klippas ner både inom modell och tvärmodell för att passa i mobil lagring och minne. Tidigare studier pressar redundans inom en enda modell. I detta arbete strävar vi efter att minska redundansen mellan flera modeller. Vi föreslår Multi-Task Zipping (MTZ), ett ramverk för att automatiskt slå samman korrelerade, förtränade djupa neurala nätverk för cross-model komprimering. Centralt i MTZ är en lagervis neurondelning och inkommande viktuppdateringsschema som inducerar en minimal förändring i felfunktionen. MTZ ärver information från varje modell och kräver lätt omskolning för att öka noggrannheten i enskilda uppgifter. Utvärderingar visar att MTZ fullt ut kan slå samman de dolda skikten i två VGG-16-nätverk med en ökning på 3,18 % av det genomsnittliga testfelet på ImageNet och CelebA, eller dela 39,61 %-parametrarna mellan de två nätverken med en ökning på < 0,5 % av testfelen för båda uppgifterna. Antalet iterationer för att omskola det kombinerade nätverket är minst 17,8× lägre än att träna ett enda VGG-16-nätverk. Dessutom visar experiment att MTZ också på ett effektivt sätt kan slå samman flera återstående nät.
MTZ REF förenar flera korrelerade utbildade modeller genom att dela neuroner mellan dessa modeller för cross-model-komprimering.
Multi-Task Zipping via Layer-wise Neuron Sharing
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Computer Science']}