Kvantisering är ett lovande tillvägagångssätt för att minska inferenstid och minnesavtryck av neurala nätverk. De flesta befintliga kvantiseringsmetoder kräver dock tillgång till den ursprungliga utbildningsdatauppsättningen för omskolning under kvantifiering. Detta är ofta inte möjligt för applikationer med känsliga eller egenutvecklade data, t.ex. på grund av integritets- och säkerhetsproblem. Befintliga noll-shot kvantisering metoder använder olika heuristik för att ta itu med detta, men de resulterar i dålig prestanda, särskilt när kvantisering till ultra-låg precision. Här föreslår vi ZEROQ, ett nytt ramverk för kvantifiering av nollbilder för att ta itu med detta. ZEROQ möjliggör blandprecisionskvantisering utan tillgång till utbildnings- eller valideringsdata. Detta uppnås genom att optimera för en Destilled Dataset, som är konstruerad för att matcha statistiken av batch normalisering över olika lager av nätverket. ZEROQ stöder både jämn och blandad kvantisering. För det senare introducerar vi en ny Pareto gränsbaserad metod för att automatiskt bestämma den blandade precisionen för alla lager, utan någon manuell sökning. Vi testar ingående vår föreslagna metod på en mängd olika modeller, inklusive ResNet18/50/152, MobileNetV2, ShuffleNet, SqueezeNext, och InceptionV3 på ImageNet, samt RetinaNet-ResNet50 på Microsoft COCO dataset. I synnerhet visar vi att ZEROQ kan uppnå 1,71 % högre noggrannhet på MobileNetV2, jämfört med den nyligen föreslagna DFQ-metoden [32]. Viktigt, ZEROQ har en mycket låg beräknings omkostnader, och det kan avsluta hela kvantifieringsprocessen i mindre än 30-tal (0,5% av en epok träningstid av ResNet50 på ImageNet). Vi har öppnat ZEROQ ramverket 1. * Lika lön.
ZeroQ REF, en ny noll-shot quantization ram, möjliggör mixed-precision quantization utan tillgång till utbildning eller valideringsdata.
ZeroQ: A Novel Zero Shot Quantization Framework
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Computer Science']}