Många moderna maskininlärning klassificerare visas vara sårbara för kontradiktoriska störningar av fallen. Trots en enorm mängd arbete som fokuserar på att göra klassificeringar robusta, verkar uppgiften ganska utmanande. I detta arbete, genom en teoretisk studie, undersöker vi den kontradiktoriska risken och robustheten hos klassificeringsobjekt och drar en koppling till det välkända fenomenet "mätningskoncentration" i metriska mätutrymmen. Vi visar att om det metriska sannolikhetsutrymmet för testinstansen är koncentrerat, är alla klassificeringar med några initiala konstanta fel i sig sårbara för negativa störningar. En klass av koncentrerade metriska sannolikhetsytor är de så kallade Lévy-familjerna som inkluderar många naturliga fördelningar. I detta speciella fall behöver våra attacker bara störa testinstansen av högst O( ε n) för att göra den felklassificerad, där n är datadimensionen. Med hjälp av vårt allmänna resultat om Lévy instans utrymmen, återhämtar vi först som specialfall några av de tidigare bevisade resultaten om förekomsten av kontradiktoriska exempel. Men många fler Lévy familjer är kända (t.ex., produktdistribution under hamming avstånd) för vilka vi omedelbart får nya attacker som hittar kontradiktoriska exempel på avstånd O ( ε n). Slutligen visar vi att koncentrationen av mått för produktutrymmen innebär att det finns former av "förgiftande" attacker där motståndaren manipulerar utbildningsuppgifterna med målet att försämra klassificeringen. I synnerhet visar vi att för alla lärande algoritmer som använder m utbildningsexempel, finns det en motståndare som kan öka sannolikheten för någon "dålig egendom" (t.ex., misslyckas på en viss test instans) som initialt händer med 1/poly(m) sannolikhet till  på 1 genom att ersätta endast O ( ε m) av exemplen med andra (fortfarande korrekt märkta) exempel. * Detta är den fullständiga versionen av ett verk som visas i AAAI 2019.
Mahlouifar m.fl. REF förklarar prevalensen av kontradiktoriska exempel genom att göra en koppling till "måttkoncentration" i metriska utrymmen.
The Curse of Concentration in Robust Learning: Evasion and Poisoning Attacks from Concentration of Measure
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Computer Science', 'Mathematics']}