Motstående utbildning, en metod för att lära sig robusta djupa nätverk, antas normalt vara dyrare än traditionell utbildning på grund av behovet av att bygga kontradiktoriska exempel via en första ordningen metod som projicerad lutning anständig (PGD). I detta dokument gör vi den överraskande upptäckten att det är möjligt att träna empiriskt robusta modeller med hjälp av en mycket svagare och billigare motståndare, ett tillvägagångssätt som tidigare ansågs vara ineffektivt, vilket inte gör metoden dyrare än standardutbildning i praktiken. Speciellt visar vi att motstående träning med snabbgradientteckenmetoden (FGSM) i kombination med slumpmässig initiering är lika effektiv som PGD-baserad träning men har betydligt lägre kostnad. Dessutom visar vi att FGSM-adversarial träning kan påskyndas ytterligare genom att använda standardtekniker för effektiv träning av djupa nätverk, vilket gör att vi kan lära oss en robust CIFAR10-klassificerare med 45% robust noggrannhet till PGD-attacker med = 8/255 på 6 minuter, och en robust ImageNet-klassificerare med 43% robust noggrannhet på = 2/255 på 12 timmar, jämfört med tidigare arbete baserat på "fri" adversarial träning som tog 10 och 50 timmar att nå samma respektive trösklar. Slutligen identifierar vi ett felläge som kallas "katastrofisk överbemanning" som kan ha lett till att tidigare försök att använda FGSM adversarial träning misslyckats. Alla koder för att återge experimenten i detta papper samt förträngda modellvikter finns på https://github.com/locuslab/fast_adversarial. * Lika lön. LG] 12 jan 2020 Publicerad som en konferensartikel på ICLR 2020 som försöker minska komplexiteten i att generera ett kontradiktoriskt exempel, vilket utgör huvuddelen av den ytterligare beräkningen i kontradiktorisk utbildning Shafahi et al., 2019). Även om dessa arbeten ger rimliga förbättringar av körtiden för kontradiktorisk utbildning, är de fortfarande betydligt långsammare än standardutbildning, som har påskyndats kraftigt på grund av tävlingar för att optimera både hastigheten och kostnaden för utbildning (Coleman et al., 2017). I detta arbete hävdar vi att kontradiktorisk utbildning i själva verket inte är så svår som detta tidigare arbete har föreslagit. I synnerhet, vi ser över en av de första föreslagna metoderna för kontradiktorisk utbildning, med hjälp av Fast Gradient Sign Method (FGSM) för att lägga till kontradiktoriska exempel till utbildningsprocessen (Goodfellow et al., 2014). Även om detta tillvägagångssätt länge har avfärdats som ineffektivt, visar vi att genom att helt enkelt införa slumpmässiga initieringspunkter, FGSM-baserad träning är lika effektiv som projicerad nedstigningsbaserad träning samtidigt som den är en storleksordning som är mer effektiv. Dessutom kan FGSM:s kontradiktoriska utbildning (och i mindre utsträckning andra kontradiktoriska utbildningsmetoder) drastiskt påskyndas med hjälp av standardtekniker för effektiv utbildning av djupa nätverk, t.ex. cyklisk inlärningshastighet (Smith & Topin, 2018 ), mixed-precision utbildning (Micikevicius et al., 2017, och andra liknande tekniker. Metoden har extremt få fria parametrar att ställa in, och kan enkelt anpassas till de flesta träningsprocedurer. Vi identifierar vidare ett felläge som vi kallar "katastrofisk överbemanning", vilket kan ha orsakat tidigare försök till FGSM-adversariell träning att misslyckas mot PGD-baserade attacker. Slutresultatet är att vi med dessa metoder kan träna (empiriskt) robusta klassificeringar mycket snabbare än i tidigare arbeten. Specifikt tränar vi en robust CIFAR10-modell till 45% noggrannhet på = 8/255 (samma nivå som uppnåtts i tidigare arbete) på 6 minuter; tidigare papper rapporterade tider på 80 timmar för PGD-baserad utbildning (Madry et al., 2017) och 10 timmar för den nyare "fria" kontraversarial utbildningsmetod (Shafahi et al., 2019). På samma sätt utbildar vi en robust ImageNet-klassificerare till 43% topp-1 noggrannhet på = 2/255 (återigen matchande tidigare resultat) i 12 timmars träning (jämfört med 50 timmar i det bäst rapporterade tidigare arbete som vi är medvetna om (Shafahi et al., 2019) ). Båda dessa tider motsvarar ungefär den jämförbara tiden för snabb träning av en standard icke-robust modell till rimlig noggrannhet. Vi utvärderar i stor utsträckning dessa resultat mot starka PGD-baserade attacker och visar att de uppnår samma empiriska prestanda som den långsammare, PGD-baserade utbildningen. Därför hävdar vi att trots den konventionella visdomen, kontraariskt robust träning är faktiskt inte mer utmanande än standard utbildning av djupa nätverk, och kan utföras med den notoriskt svaga FGSM attack.
Nyligen hävdade REF att utbildning med FGSM-attacker kan vara lika stark som PGD om den görs noggrant.
Fast is better than free: Revisiting adversarial training
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Computer Science', 'Mathematics']}