Djupa neurala nätverk har visat sig lida av en överraskande svaghet: deras klassificering outputs kan ändras genom små, icke-slumpmässiga störningar av deras ingångar. Detta kontradiktoriska exempel fenomen har förklarats ha sitt ursprung i att djupa nätverk är "för linjära" (Goodfellow et al., 2014). Vi visar här att den linjära förklaringen av kontradiktoriska exempel uppvisar ett antal begränsningar: det formella argumentet är inte övertygande; linjära klassifikationer lider inte alltid av fenomenet, och när de gör sina kontradiktoriska exempel skiljer sig från de som påverkar djupa nätverk. Vi föreslår ett nytt perspektiv på fenomenet. Vi hävdar att kontradiktoriska exempel finns när klassificeringsgränsen ligger nära submanifold av provdata, och presentera en matematisk analys av detta nya perspektiv i det linjära fallet. Vi definierar begreppet kontradiktorisk styrka och visar att den kan reduceras till avvikelsevinkeln mellan den klassifier som beaktas och närmaste centroidklassifier. Sedan visar vi att den kontradiktoriska styrkan kan göras godtyckligt hög oberoende av klassificeringsprestandan på grund av en mekanism som vi kallar gränslutning. Detta resultat leder oss till att definiera en ny taxonomi av kontradiktoriska exempel. Slutligen visar vi att den kontradiktoriska styrka som observeras i praktiken är direkt beroende av den grad av legalisering som används och att de starkaste kontradiktoriska exemplen, som är symptomatiska för övermontering, kan undvikas genom att man använder en lämplig nivå av legalisering.
Tanay och Griffin REF konstruerade dock senare bildklasserna som inte lider av de kontradiktoriska exemplen för de linjära klassificeringarna.
A Boundary Tilting Persepective on the Phenomenon of Adversarial Examples
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Mathematics', 'Computer Science']}