Vi föreslår en metod för att lära sig djupa ReLU-baserade klassificeringar som är bevisligen robusta mot normbundna adversariella perturbationer (på träningsdata; för tidigare osedda exempel, tillvägagångssättet kommer att garanteras att upptäcka alla kontradiktoriska exempel, även om det kan markera några icke-adversariska exempel också). Den grundläggande idén med tillvägagångssättet är att överväga en konvex yttre approximation av uppsättningen aktiveringar som kan nås genom en normbunden perturbation, och vi utvecklar en robust optimeringsprocess som minimerar den värsta fallförlusten över denna yttre region (via ett linjärt program). Avgörande är att vi visar att det dubbla problemet med detta linjära program kan representeras som ett djupt nätverk som liknar backpropagation-nätverket, vilket leder till mycket effektiva optimeringsmetoder som ger garanterade gränser på den robusta förlusten. Slutresultatet är att genom att köra några fler framåt och bakåt passerar genom en något modifierad version av det ursprungliga nätverket (även om möjligen med mycket större batchstorlekar), kan vi lära oss en klassificering som är bevisligen robust till någon normbunden adversarial attack. Vi illustrerar tillvägagångssättet på en leksak 2D robust klassificering uppgift, och på en enkel konvolutionell arkitektur tillämpas på MNIST, där vi producerar en klassificering som bevisligen har mindre än 8,4% testfel för varje kontradiktorisk attack med begränsad ❌ norm mindre än = 0,1. Detta är det största verifierade nätverk som vi är medvetna om, och vi diskuterar framtida utmaningar när det gäller att skala upp strategin till mycket större områden.
REF presenterar en övre gräns på den robusta förlust som orsakas av normbunden perturbation via LP-avslappning, och minimerar denna övre gräns under träningen.
Provable defenses against adversarial examples via the convex outer adversarial polytope
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Mathematics', 'Computer Science']}