Deep Neural Networks (DNN) har nyligen visat sig vara sårbara mot kontradiktoriska exempel, som är noggrant utformade fall som kan vilseleda DNN att göra fel under förutsägelser. För att bättre förstå sådana attacker krävs en karakterisering av regionernas egenskaper (de så kallade adversariska subrymderna) där kontradiktoriska exempel ligger. I synnerhet krävs effektiva åtgärder för att diskriminera kontradiktoriska exempel från normala exempel i sådana regioner. Vi tar itu med denna utmaning genom att karakterisera de kontradiktoriska regionernas dimensionella egenskaper, genom att använda lokal intrinsisk dimensionalitet (LID). LID bedömer rymdfyllningskapaciteten i regionen som omger ett referensexempel, baserat på avståndsfördelningen av exemplet till sina grannar. Vi ger först förklaringar om hur kontradiktorisk perturbation kan påverka LID-karakteristiken i kontradiktoriska regioner, och sedan empiriskt visa att LID-karakteristika kan underlätta upptäckten av kontradiktoriska exempel som genereras med hjälp av de toppmoderna attackerna. Vi visar att när man ansöker om kontradiktorisk detektion kan en LID-baserad metod överträffa flera toppmoderna detektionsåtgärder med stora marginaler för fem attackstrategier i tre referensdatauppsättningar. Vår analys av LID-karakteristiken för kontradiktoriska regioner motiverar inte bara nya riktningar för ett effektivt kontradiktoriskt försvar, utan öppnar också upp fler utmaningar för att utveckla nya attacker för att bättre förstå sårbarheten hos DNN.
En potentiell tillämpning av lokal inneboende dimensionalitet studeras för att skilja mellan kontradiktoriska exempel REF.
Characterizing Adversarial Subspaces Using Local Intrinsic Dimensionality
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Mathematics', 'Computer Science']}