Nyligen genomförda studier på den kontrariska sårbarheten i neurala nätverk har visat att modeller som utbildats för att vara mer robusta mot kontradiktoriska attacker uppvisar mer tolkningsbara saltkartor än sina icke-robusta motsvarigheter. Vi strävar efter att kvantifiera detta beteende genom att överväga anpassningen mellan indatabild och saliency karta. Vi gissar att när avståndet till beslutsgränsen ökar, så ökar även anpassningen. Detta samband är strikt sant när det gäller linjära modeller. Vi bekräftar dessa teoretiska resultat med experiment baserade på modeller tränade med en lokal Lipschitz legalisering och identifiera var den icke-linjära naturen av neurala nätverk försvagar relationen.
REF förklarar att lineariserad robusthet (avstånd från prov till beslutsgräns) ökar i takt med att anpassningen mellan Jacobian och ingångsbilden växer.
On the Connection Between Adversarial Robustness and Saliency Map Interpretability
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Computer Science', 'Mathematics']}