Maskininlärning modeller är sårbara för kontradiktoriska exempel, indata illvilligt störd för att vilseleda modellen. Dessa ingångar överför mellan modeller, vilket möjliggör Black-box attacker mot utplacerade modeller. Motståndsträning ökar robustheten mot attacker genom att ge kontradiktoriska exempel på träningsdata. Förvånansvärt nog finner vi att även om de kontradiktoriskt utbildade modellerna uppvisar en stark robusthet i vissa white-box-attacker (dvs. med kunskap om modellparametrarna), är de fortfarande mycket sårbara för överförda kontradiktoriska exempel gjorda på andra modeller. Vi visar att orsaken till denna sårbarhet är modellens beslutsyta som uppvisar skarp krökning i närheten av datapunkterna, vilket hindrar attacker baserade på första ordningens approximationer av modellens förlust, men tillåter svart-box attacker som använder kontradiktoriska exempel överförs från en annan modell. Vi utnyttjar denna observation på två sätt: För det första föreslår vi en enkel men kraftfull ny attack som först tillämpar en liten slumpmässig perturbation på en ingång, innan vi hittar den optimala perturbationen under en första ordningen approximation. Vår attack överträffar tidigare "enstegs" attacker på modeller tränade med eller utan kontradiktorisk träning. För det andra föreslår vi Ensemble Adversarial Training, en förlängning av den kontradiktoriska utbildningen som dessutom utökar träningsdata med perturbed-ingångar som överförs från ett antal fasta förtränade modeller. På MNIST och ImageNet förbättrar ensembleträningen avsevärt robustheten mot attacker i svarta boxar.
Tramèr m.fl. visa upp en ensemble kontradiktorisk utbildningsstrategi för att förbättra robustheten hos kontradiktoriska utbildningsmodeller REF.
Ensemble Adversarial Training: Attacks and Defenses
{'venue': 'International Conference on Learning Representations (ICLR) 2018', 'journal': None, 'mag_field_of_study': ['Computer Science', 'Mathematics']}