Många modeller för maskininlärning är sårbara för kontradiktoriska attacker. Det har observerats att adversariella perturbationer som är omärkliga för människor kan göra maskininlärning modeller producerar felaktiga förutsägelser med stort förtroende. Även om det har gjorts många insatser på senare tid för att lära sig modeller som är motsträvigt robusta, är detta fortfarande ett öppet problem. I synnerhet har det empiriskt observerats att även om användning av kontradiktorisk utbildning effektivt kan minska det kontradiktoriska klassificeringsfelet på utbildningsdatauppsättningen, kan den lärda modellen inte generalisera väl till testdata. Dessutom saknar vi en teoretisk förståelse av generaliseringsegenskaperna hos maskininlärningsmodeller i den kontradiktoriska miljön. I detta dokument studerar vi det motsträvigt robusta generaliseringsproblemet genom linsen av Rademachers komplexitet. Vi fokuserar på motangrepp och studerar både linjära klassificeringar och feedfore neurala nätverk. För binära linjära klassificeringar, visar vi snäva gränser för den kontrariska Rademacher komplexitet, och visar att i den kontradiktoriska inställningen, Rademacher komplexitet är aldrig mindre än den i den naturliga miljön, och det har en oundviklig dimension beroende, om inte vikt vektorn har avgränsat l1 norm. Resultaten sträcker sig också till linjära klassifikationer i flera klasser. För (icke-linjära) neurala nätverk visar vi att dimensionsberoendet också finns i Rademachers komplexitet i lņ kontraarial förlustfunktionsklass. Vi överväger vidare en surrogat motstående förlust och bevisa marginalgränser för denna inställning. Våra resultat indikerar att ha l1 norm begränsningar på viktmatriser kan vara ett potentiellt sätt att förbättra generaliseringen i den kontradiktoriska inställningen.
• Yin et al. REF begränsade Rademacher komplexiteten för linjära klassificeringar och neurala nätverk i den kontradiktoriska inställningen.
Rademacher Complexity for Adversarially Robust Generalization
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Mathematics', 'Computer Science']}