Vi identifierar en kompromiss mellan robusthet och noggrannhet som tjänar som en vägledande princip i utformningen av försvar mot kontradiktoriska exempel. Även om problemet har studerats i stor utsträckning empiriskt är mycket fortfarande okänt när det gäller den teori som ligger till grund för denna kompromiss. I detta arbete kvantifierar vi avvägningen i termer av skillnaden mellan risken för kontradiktoriska exempel och risken för icke kontradiktoriska exempel. Utmaningen är att tillhandahålla snäva gränser för denna kvantitet i form av en surrogatförlust. Vi ger en optimal övre gräns för denna mängd i termer av klassificeringskalibrerad förlust, som matchar den nedre gränsen i värsta fall. Inspirerad av vår teoretiska analys utformar vi också en ny försvarsmetod, HANDELS, för att handla med motstridig robusthet av mot precision. Vår föreslagna algoritm presterar väl experimentellt i verkliga datauppsättningar. Metoden är grunden för vårt inträde i NeurIPS 2018 Adversarial Vision Challenge där vi vann 1:a plats av 1 995 bidrag i den robusta modellspår, överträffar tvåan strategi med 11,41% i termer av medel 2 perturbation avstånd.
Ett nära relaterat arbete av Zhang et al. REF identifierar en avvägning mellan robusthet och noggrannhet, men deras syfte är främst att använda kompromissen för att vägleda principen i utformningen av försvar mot kontradiktoriska exempel för en fast arkitektur medan kompromissen vi identifierar främst är för att karakterisera olika arkitekturer.
Theoretically Principled Trade-off between Robustness and Accuracy
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Mathematics', 'Computer Science']}