Abstrakt. Nya studier har avslöjat sårbarheten av djupa neurala nätverk: En liten motarial perturbation som är omärklig för människan kan lätt göra en vältränad djup neurala nätverk felklassificera. Detta gör det osäkert att tillämpa neurala nätverk i säkerhetskritiska applikationer. I denna uppsats föreslår vi en ny försvarsalgoritm kallad Random SelfEnsemble (RSE) genom att kombinera två viktiga begrepp: slumpmässighet och ensemble. För att skydda en riktad modell, RSE lägger slumpmässiga bullerlager till det neurala nätverket för att förhindra de starka gradient-baserade attacker, och ensembler förutsägelsen över slumpmässiga ljud för att stabilisera prestandan. Vi visar att vår algoritm är likvärdig med ensemble ett oändligt antal bullriga modeller f utan ytterligare minne overhead, och den föreslagna träningsproceduren baserad på bullriga stokastisk lutning nedstigning kan säkerställa ensemblemodellen har en bra prediktiv förmåga. Vår algoritm överträffar betydligt tidigare försvarstekniker på verkliga datamängder. Till exempel, på CIFAR-10 med VGG nätverk (som har 92% noggrannhet utan någon attack), under den starka C&W attack inom en viss distorsion tolerans, noggrannheten hos oskyddade modellen sjunker till mindre än 10%, den bästa tidigare försvar teknik har 48% noggrannhet, medan vår metod fortfarande har 86% förutsägelse noggrannhet under samma nivå av attack. Slutligen är vår metod enkel och enkel att integrera i alla neurala nätverk.
I REF föreslog författarna att slumpmässiga bullerskikt skulle läggas till i nätverket och likna förutsägelsen över slumpmässiga ljud.
Towards Robust Neural Networks via Random Self-ensemble
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Computer Science', 'Mathematics']}