Neural nätverk kvantization håller på att bli en branschstandard för att effektivt distribuera djupinlärning modeller på hårdvaruplattformar, såsom CPU, GPU, TPU, och FPGAs. Vi observerar dock att de konventionella kvantifieringsstrategierna är sårbara för kontradiktoriska attacker. Detta dokument syftar till att öka människors medvetenhet om säkerheten i de kvantiserade modellerna, och vi utformade en ny kvantiseringsmetod för att gemensamt optimera effektiviteten och robustheten hos djupinlärningsmodeller. Vi genomför först en empirisk studie för att visa att vaniljquantization lider mer av kontradiktoriska attacker. Vi observerar att den underlägsna robustheten kommer från felförstärkningseffekten, där kvantifieringsoperationen ytterligare förstorar det avstånd som orsakas av förstärkt buller. Sedan föreslår vi en ny Defensive Quantization (DQ) metod genom att kontrollera Lipschitz konstant i nätverket under kvantisering, så att omfattningen av den kontradiktoriska buller förblir icke-expansiv under inferens. Omfattande experiment på CIFAR-10 och SVHN dataset visar att vår nya kvantiseringsmetod kan försvara neurala nätverk mot kontradiktoriska exempel, och även uppnå överlägsen robusthet än deras fullprecision motsvarigheter, samtidigt som samma hårdvarueffektivitet som vaniljquantization metoder. Som en biprodukt kan DQ också förbättra noggrannheten hos kvantiserade modeller utan motattack.
Defensiv kvantisering innebär kvantifiering av ett nätverk samtidigt minimera Lipschitz konstant för att uppmuntra robusthet REF.
Defensive Quantization: When Efficiency Meets Robustness
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Computer Science', 'Mathematics']}