Neurala nätverk är sårbara för kontradiktoriska exempel och forskare har föreslagit många heuristiska attack- och försvarsmekanismer. Vi tar itu med detta problem genom den principiella linsen av distributions robust optimering, som garanterar prestanda under kontradiktoriska ingångar perturbationer. Genom att överväga en Lagrangian vite formulering av perturbing den underliggande datadistributionen i en Wasserstein boll, tillhandahåller vi ett utbildningsförfarande som förstärker modellparameter uppdateringar med värsta fall perturbationer av träningsdata. För smidiga förluster uppnår vårt förfarande sannolikt måttliga nivåer av robusthet med liten beräknings- eller statistisk kostnad i förhållande till empirisk riskminimering. Dessutom gör våra statistiska garantier det möjligt för oss att effektivt certifiera robustheten för befolkningsförlusten. För omärkliga perturbationer, vår metod matchar eller överträffar heuristiska metoder.
Författarna till REF använder robust optimering för att störa träningsdata och tillhandahålla ett utbildningsförfarande som uppdaterar parametrar baserade på värsta fall perturbationer.
Certifying Some Distributional Robustness with Principled Adversarial Training
{'venue': 'ICLR', 'journal': None, 'mag_field_of_study': ['Mathematics', 'Computer Science']}