Nya resultat visar att djupa neurala nätverk uppnår utmärkt prestanda även när, under träning, vikter kvantifieras och projiceras till en binär representation. Här visar vi att detta bara är toppen av isberget: dessa samma nätverk, under testning, uppvisar också en anmärkningsvärd robusthet till snedvridningar bortom kvantifiering, inklusive additivt och multiplikativt buller, och en klass av icke-linjära projektioner där binarisering bara är ett specialfall. För att kvantifiera denna robusthet visar vi att ett sådant nätverk uppnår 11% testfel på CIFAR-10 även med 0,68 effektiva bitar per vikt. Dessutom finner vi att en gemensam utbildning heuristicnnamely, projicering kvantized vikter under backpropagation-kan ändras (eller till och med tas bort) och nätverk fortfarande uppnå en basnivå av robusthet under testning. Speciellt, träning med andra viktberäkningar än kvantisering fungerar också, liksom helt enkelt klippa vikter, som båda har aldrig rapporterats tidigare. Vi bekräftar våra resultat för CIFAR-10 och ImageNet dataset. Slutligen föreslår vi, utifrån dessa idéer, en stokastisk prognosregel som leder till ett nytt toppmodernt nätverk med 7,64 % testfel på CIFAR-10 utan dataförstärkning.
REF visade att DNN kan vara robust till mer än bara vikt binarization.
Deep neural networks are robust to weight binarization and other non-linear distortions
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Computer Science']}