Abstract-Deep inlärningsbaserade tekniker har uppnått toppmoderna resultat på ett brett spektrum av igenkännings- och klassificeringsuppgifter. Men dessa nätverk är vanligtvis beräkning dyrt att träna, kräver veckor av beräkning på många GPU:er; som ett resultat, många användare outsourca utbildningsförfarandet till molnet eller förlita sig på förtränade modeller som sedan finjusteras för en specifik uppgift. I denna uppsats visar vi att outsourcing utbildning introducerar nya säkerhetsrisker: en motståndare kan skapa ett illa tränat nätverk (ett bakdörrs neuralt nätverk, eller ett BadNet) som har state-of-theart prestanda på användarens utbildning och validering prover, men beter sig dåligt på specifika angripa- valda ingångar. Vi utforskar först egenskaperna hos BadNets i en leksak exempel, genom att skapa en bakdörr handskriven siffra klassificerare. Därefter demonstrerar vi bakdörrar i ett mer realistiskt scenario genom att skapa en amerikansk gatuskylt klassificerare som identifierar stoppskyltar som hastighetsgränser när en speciell klistermärke läggs till stoppskylten; sedan visar vi dessutom att bakdörren i vår amerikanska gatuskyltdetektor kan bestå även om nätverket senare omtränas för en annan uppgift och orsaka en nedgång i noggrannhet på 25% i genomsnitt när bakdörren avtryckaren är närvarande. Dessa resultat visar att bakdörrar i neurala nätverk är både kraftfulla och-eftersom beteendet hos neurala nätverk är svårt att explicitstealthy. Detta arbete ger motivation för ytterligare forskning om tekniker för att verifiera och inspektera neurala nätverk, precis som vi har utvecklat verktyg för att verifiera och avlusa programvara.
REF förgiftad handskriven siffra och gatuskylt klassificerare för att felklassificera ingångar som har en bakdörr trigger.
BadNets: Identifying Vulnerabilities in the Machine Learning Model Supply Chain
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Computer Science']}