Abstract-Vi studerar kompromisser mellan lagring/bandbredd och förutsägelse noggrannhet neurala nätverk som lagras i bullriga medier. Konventionellt antas att alla parametrar (t.ex. vikt och fördomar) i ett utbildat neuralt nätverk lagras som binära matriser och är felfria. Detta antagande baseras på införandet av felkorrigeringskoder (ECCs) som korrigerar potentiella bitflips i lagringsmedia. ECC lägger dock till överliggande lagringsutrymme och orsakar bandbreddsminskning vid lastning av de utbildade parametrarna under inferensen. Vi studerar robustheten hos djupa neurala nätverk när det finns bitfel men ECC är avstängda för olika neurala nätverksmodeller och dataset. Det noteras att mer sofistikerade modeller och dataset är mer sårbara för fel i sina utbildade parametrar. Vi föreslår en enkel detekteringsmetod som generellt kan förbättra robustheten, som i vissa fall kan förbättras av storleksordningar. Vi föreslår också en alternativ binär representation av parametrarna så att den distorsion som orsakas av bit flips minskas och till och med teoretiskt försvinner när antalet bitar för att representera en parameter ökar.
Qin m.fl. REF studerar feltoleransen hos neurala nätverk som lagras i ungefärliga icke-flyktiga minnesmedier (NVM).
Robustness of Neural Networks against Storage Media Errors
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Computer Science', 'Mathematics']}