Neurala nätverk har visat stor framgång när det gäller en mängd olika verkliga problem. Nätverk tränas dock endast för att optimera för utbildning noggrannhet kan ofta luras av kontradiktoriska exempel - något störda ingångar som är felklassade med stort förtroende. Verifiering av nätverk gör det möjligt för oss att mäta deras sårbarhet för sådana kontradiktoriska exempel. Vi formulerar verifiering av bitvis-linjära neurala nätverk som ett blandat heltal program. På en representativ uppgift att hitta minimala kontradiktoriska snedvridningar, vår kontrollör är två till tre storleksordningar snabbare än den senaste tekniken. Vi uppnår denna beräkningssnabbhet med tighta formuleringar för icke-linjäritet, samt en ny prelösningsalgoritm som utnyttjar all tillgänglig information fullt ut. Beräkningssnabbheten gör det möjligt för oss att verifiera egenskaper på konvolutionsnätverk med en storleksordning som är mer ReLU än nät som tidigare verifierats av någon komplett kontrollör. I synnerhet bestämmer vi för första gången den exakta adversariska noggrannheten hos en MNIST-klassificerare till perturbationer med avgränsad l ❌ norm = 0,1: för denna klassificering finner vi ett kontraariskt exempel på 4,38 % av proverna, och ett intyg om robusthet (till perturbationer med avgränsad norm) för resten. Genom alla robusta utbildningsförfaranden och nätverksarkitekturer som beaktas kan vi certifiera fler prover än toppmoderna och hitta fler kontradiktoriska exempel än en stark första orderattack.
Ett anmärkningsvärt arbete för att förbättra skalbarheten är REF, där författarna gör exakt verifiering av bitvis-linjära nätverk med hjälp av mixed-integer programmering med en storleksordning minskning av beräkningskostnaden via snäva formuleringar för icke-linjäritet och noggrann förbearbetning.
Evaluating Robustness of Neural Networks with Mixed Integer Programming
{'venue': 'ICLR', 'journal': None, 'mag_field_of_study': ['Mathematics', 'Computer Science']}