Motståndarutbildning, där ett nätverk utbildas på kontradiktoriska exempel, är ett av de få försvar mot kontradiktoriska attacker som står emot starka attacker. Tyvärr är de höga kostnaderna för att generera starka kontradiktoriska exempel opraktiska på storskaliga problem som ImageNet. Vi presenterar en algoritm som eliminerar omkostnaderna för att generera kontradiktoriska exempel genom att återvinna gradientinformationen som beräknas vid uppdatering av modellparametrar. Vår "fria" kontradiktoriska träningsalgoritm uppnår toppmodern robusthet på CIFAR-10 och CIFAR-100 datauppsättningar till försumbar extra kostnad jämfört med naturlig träning, och kan vara 7 till 30 gånger snabbare än andra starka kontrarimala träningsmetoder. Med hjälp av en enda arbetsstation med 4 P100 GPU och 2 dagars körtid, kan vi träna en robust modell för den storskaliga ImageNet klassificering uppgift som upprätthåller 40% noggrannhet mot PGD attacker.
Shafahi m.fl. REF förbättrar utbildningens effektivitet genom att återvinna den gradientinformation som beräknas vid uppdatering av modellparametrar för att generera kontradiktoriska exempel.
Adversarial Training for Free!
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Computer Science', 'Mathematics']}