Vi presenterar en enkel och allmän metod för att träna ett enda neuralt nätverk körbar på olika bredder 1, möjliggör omedelbar och adaptiv noggrannhet-effektivitet kompromisser vid körtid. Istället för att träna individuella nätverk med olika breddkonfigurationer utbildar vi ett gemensamt nätverk med bytesbar batchnormalisering. Vid drifttid kan nätverket justera sin bredd i farten i enlighet med riktmärken för on-device och resursbegränsningar, snarare än att ladda ner och avlasta olika modeller. Våra utbildade nätverk, namngivna slimable neurala nätverk, uppnå liknande (och i många fall bättre) ImageNet klassificering noggrannhet än individuellt utbildade modeller av MobileNet v1, MobileNet v2, ShuffleNet och ResNet-50 vid olika bredder respektive. Vi demonstrerar också bättre prestanda hos smala modeller jämfört med enskilda modeller inom ett brett spektrum av applikationer, inklusive COCO begränsande-box objektdetektering, exampel segmentering och person keypoint detektering utan inställning hyper-parameter. Slutligen visualiserar och diskuterar de inlärda funktionerna i smalspåriga nätverk. Kod och modeller finns tillgängliga på https://github.com/JiahuYu/slimmable_networks.
Det smala neurala nätverket REF föreslogs nyligen för att träna nätverk med varierande kanalbredder och dela parametrar.
Slimmable Neural Networks
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Computer Science']}