Neurala nätverk är sårbara för kontradiktoriska exempel och forskare har föreslagit många heuristiska attack- och försvarsmekanismer. Vi tar den principiella synen på distributions robust optimering, vilket garanterar prestanda under kontradiktoriska ingångar perturbationer. Genom att överväga en Lagrangian vite formulering av perturbation av den underliggande datadistributionen i en Wasserstein boll, tillhandahåller vi ett utbildningsförfarande som förstärker modellparameter uppdateringar med värsta fall perturbationer av träningsdata. För smidiga förluster uppnår vårt förfarande sannolikt måttliga nivåer av robusthet med liten beräknings- eller statistisk kostnad i förhållande till empirisk riskminimering. Dessutom gör våra statistiska garantier det möjligt för oss att effektivt certifiera robustheten för befolkningsförlusten. För omärkliga perturbationer, vår metod matchar eller överträffar heuristiska metoder.
Till exempel, ett utbildningsförfarande anges att modellparametrar uppdateringar utökas med de värsta fall perturbations av utbildningsdata REF.
Certifiable Distributional Robustness with Principled Adversarial Training
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Computer Science', 'Mathematics']}