Maskininlärning (ML) modeller, t.ex., djupa neurala nätverk (DNN), är sårbara för kontradiktoriska exempel: skadliga ingångar modifieras för att ge felaktiga modellutgångar, medan visas omodifierade för mänskliga observatörer. Potentiella attacker inkluderar att ha skadligt innehåll som malware identifieras som legitima eller kontrollera fordon beteende. Men alla befintliga kontradiktoriska angrepp kräver kunskap om antingen modellens interna eller dess träningsdata. Vi introducerar den första praktiska demonstrationen av en angripare som kontrollerar en fjärrvärd DNN utan sådan kunskap. Den enda möjligheten för vår motståndare i svartboxen är att observera etiketter som DNN har gett till valda ingångar. Vår attackstrategi består i att utbilda en lokal modell för att ersätta målet DNN, med hjälp av indata syntetiskt genererade av en motståndare och märkta av målet DNN. Vi använder det lokala substitutet för att göra kontradiktoriska exempel, och upptäcker att de är felklassificerade av den riktade DNN. För att utföra en verklig och ordentligt blind utvärdering, attackerar vi en DNN värd MetaMind, en online djupinlärning API. Vi finner att deras DNN felklassificerar 84,24 procent av de kontradiktoriska exempel som skapats med vårt substitut. Vi visar den allmänna tillämpligheten av vår strategi för många ML-tekniker genom att genomföra samma attack mot modeller som Amazon och Google, med hjälp av logistiska regressionsersättningar. De ger kontradiktoriska exempel som felaktigt klassificerats av Amazon och Google med en frekvens på 96,19 % och 88,94 %. Vi finner också att denna strategi för attack mot svarta lådor är kapabel att undvika försvarsstrategier som tidigare funnits för att göra kontradiktoriska exempel att tillverka hårdare.
Pappersnot et al. REF presenterade en strategi för attack mot svarta lådor som innebär att man utbildar en lokal modell på indata syntetiskt genererade av en motståndare och märkt av en svart låda DNN.
Practical Black-Box Attacks against Machine Learning
{'venue': "ASIA CCS '17", 'journal': None, 'mag_field_of_study': ['Computer Science']}