Att skaffa djupa nätverk som är robusta mot kontradiktoriska exempel och generalisera väl är ett öppet problem. En ny hypotes [102, 95] säger till och med att både robusta och exakta modeller är omöjliga, d.v.s. kontradiktorisk robusthet och generalisering är motstridiga mål. I ett försök att klargöra förhållandet mellan robusthet och generalisering antar vi ett underliggande, lågdimensionellt datagrenrör och visar att: 1. regelbundna kontradiktoriska exempel lämnar grenröret; 2. kontraariska exempel begränsade till grenen, d.v.s. on-manifold kontraversarial exempel, existerar; 3. onmanifold kontraversarial exempel är generalisering fel, och on-manifold kontraversarial träning ökar generaliseringen; 4. regelbunden robusthet och generalisering motsäger inte nödvändigtvis mål. Dessa antaganden innebär att både robusta och korrekta modeller är möjliga. Olika modeller (arkitekturer, utbildningsstrategier osv.) kan uppvisa olika robusthet och generaliseringsegenskaper. För att bekräfta våra påståenden, presenterar vi omfattande experiment på syntetiska data (med känt grenrör) samt på EMNIST [19], och CelebA [58].
Mer nyligen, Stutz et al. REF påpekade att motträning på flera olika nivåer ökar generaliseringen, och därför kan modeller med både robusthet och generalisering erhållas samtidigt.
Disentangling Adversarial Robustness and Generalization
{'venue': '2019 IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR)', 'journal': '2019 IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR)', 'mag_field_of_study': ['Computer Science', 'Mathematics']}