Kvantisering av neurala nätverk har blivit ett viktigt forskningsområde på grund av dess stora inverkan på utbyggnaden av stora modeller på resursbegränsade enheter. För att utbilda nätverk som effektivt kan diskretiseras utan förlust av prestanda, introducerar vi ett differentierat kvantiseringsförfarande. Differentibilitet kan uppnås genom att omvandla kontinuerliga distributioner över nätets vikter och aktiveringar till kategoriska distributioner över kvantiseringsnätet. Dessa är därefter avslappnade till kontinuerliga surrogat som kan möjliggöra effektiv gradient-baserad optimering. Vi visar vidare att stokastisk avrundning kan ses som ett specialfall av det föreslagna tillvägagångssättet och att under denna formulering kan kvantiseringsnätet självt också optimeras med lutning nedstigning. Vi validerar vår metods prestanda experimentellt på MNIST, CIFAR 10 och Imagenet klassificering.
Nyligen, Christos et al. REF föreslår att man jämnar ut den diskreta kvantizern genom att omvandla kontinuerliga distributioner till kategoriska distributioner som sedan slappnar av med hjälp av gummi-softmax för effektiv gradientbaserad optimering.
Relaxed Quantization for Discretized Neural Networks
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Mathematics', 'Computer Science']}