Neurala nätverk är kända för att vara sårbara för kontradiktoriska exempel. Noggrant utvalda perturbationer till verkliga bilder, men omärkliga för människor, framkalla felklassificering och hota tillförlitligheten hos djupinlärningssystem i det vilda. För att skydda oss mot kontradiktoriska exempel tar vi inspiration från spelteorin och kastar problemet som ett minimax nollsummespel mellan motståndaren och modellen. I allmänhet, för sådana spel, den optimala strategin för båda spelarna kräver en stokastisk politik, även känd som en blandad strategi. Mot denna bakgrund föreslår vi Stochastic Activation Pruning (SAP), en blandad strategi för kontradiktoriskt försvar. SAP beskär en slumpmässig undergrupp av aktiveringar (företrädesvis beskära dem med mindre magnitud) och skala upp de överlevande för att kompensera. Vi kan tillämpa SAP på förtränade nätverk, inklusive kontradiktoriskt utbildade modeller, utan finjustering, vilket ger robusthet mot kontradiktoriska exempel. Experiment visar att SAP ger robusthet mot attacker, ökad noggrannhet och bibehållen kalibrering.
Sedan föreslog REF att använda stokastisk aktivering beskärning baserad på en multinomial distribution för kontradiktoriskt försvar.
Stochastic Activation Pruning for Robust Adversarial Defense
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Mathematics', 'Computer Science']}