Motstående träning är en effektiv metod för att träna djupa neurala nätverk som är robusta mot motstående, normbundna perturbationer. Beräkningskostnaden för kontradiktorisk träning ökar dock oöverkomligt i takt med att modellens storlek och antalet ingångsmått ökar. Dessutom producerar utbildning mot billigare och därmed svagare motståndare modeller som är robusta mot svaga attacker men bryter ner under attacker som är starkare. Detta tillskrivs ofta fenomenet gradient obfuscation; sådana modeller har en mycket icke-linjär förlust yta i närheten av träningsexempel, vilket gör det svårt för gradient-baserade attacker att lyckas även om kontradiktoriska exempel fortfarande finns. I detta arbete introducerar vi en ny regularizer som uppmuntrar förlusten att uppträda linjärt i närheten av träningsdata, vilket straffar lutning obfuscation samtidigt som man uppmuntrar robusthet. Vi visar genom omfattande experiment på CIFAR-10 och ImageNet, att modeller tränas med vår regularizer undvika lutning obfuscation och kan tränas betydligt snabbare än kontradiktorisk träning. Med hjälp av denna regularizer, överskrider vi nuvarande state of the art och uppnå 47% motarial noggrannhet för ImageNet med ņ motarial perturbations av radie 4/255 under en oriktad, stark, vit-box attack. Dessutom matchar vi toppmoderna resultat för CIFAR-10 på 8/255.
Som experiment av REF visar, ingen av dessa metoder presterar bättre än kontradiktorisk utbildning på CIFAR-10 dataset.
Adversarial Robustness through Local Linearization
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Computer Science', 'Mathematics']}