Prediktionsnoggrannheten har varit den långvariga och enda standarden för att jämföra prestandan hos olika bildklassificeringsmodeller, inklusive tävlingen ImageNet. Nyligen genomförda studier har dock belyst bristen på robusthet i vältränade djupa neurala nätverk till kontradiktoriska exempel. Synligt omärkliga perturbationer till naturliga bilder kan lätt skapas och vilseleda bildklassificatörerna mot felklassificering. För att avmystifiera avvägningarna mellan robusthet och noggrannhet, i detta papper vi noggrant riktmärke 18 ImageNet modeller med hjälp av flera robusthetsmått, inklusive distorsion, framgångsfrekvens och överförbarhet av kontradiktoriska exempel mellan 306 par av modeller. Våra omfattande experimentella resultat avslöjar flera nya insikter: (1) linjär skala lag - den empiriska 2 och ∞ distorsionsmått skala linjärt med logaritmen för klassificeringsfel; (2) modell arkitektur är en mer kritisk faktor för robusthet än modellstorlek, och den avslöjade noggrannhet-robustness Pareto gräns kan användas som ett utvärderingskriterium för ImageNet modelldesigners; (3) för en liknande nätverksarkitektur, öka nätverksdjupet något förbättrar robustheten i ❌ distorsion; (4) Det finns modeller (i VGG familj) som uppvisar hög adversariell överföringsförmåga, medan de flesta adversariska exempel tillverkade från en modell kan endast överföras inom samma familj. Experimentkoden finns tillgänglig för allmänheten på https://github.com/huanzhang12/adversarial Survey. där f (x, t) är en förlustfunktion för att mäta avståndet mellan förutsägelsen av x och måletiketten t. I detta arbete väljer vi f (x, t) = max{max i =t [(Logit(x)) i − (Logit(x)) t ], −σ}
I REF, författarna noggrant riktmärke 18 ImageNet modeller med hjälp av flera robusthet mätvärden.
Is Robustness the Cost of Accuracy? -- A Comprehensive Study on the Robustness of 18 Deep Image Classification Models
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Computer Science']}