Vi identifierar obfuscated gradienter, en typ av gradient maskering, som ett fenomen som leder till en falsk känsla av säkerhet i försvar mot kontradiktoriska exempel. Medan försvar som orsakar fördunklade gradienter verkar besegra iterativa optimeringsbaserade attacker, finner vi försvar som förlitar sig på denna effekt kan kringgås. Vi beskriver karakteristiska beteenden av försvar som uppvisar effekten, och för var och en av de tre typer av obfuskerade gradienter vi upptäcker, utvecklar vi attacktekniker för att övervinna det. I en fallstudie, som undersöker icke-certifierade white-box-säkra försvar vid ICLR 2018, finner vi obfuscated gradienter är en vanlig händelse, med 7 av 9 försvar som bygger på obfuscated gradienter. Våra nya attacker lyckas kringgå 6 helt, och 1 delvis, i den ursprungliga hotmodellen varje papper anser.
Tyvärr, REF finner att alla dessa försvar politik använder obfuscated gradienter, en typ av lutning maskering, som leder till falsk känsla av säkerhet i försvar mot kontradiktoriska exempel och ger en begränsad förbättring i robusthet.
Obfuscated Gradients Give a False Sense of Security: Circumventing Defenses to Adversarial Examples
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Mathematics', 'Computer Science']}