Djupa neurala nätverk (DNN) har satt riktmärken på ett brett spektrum av övervakade inlärningsuppgifter. Utbildade DNN:er saknar emellertid ofta robusthet mot mindre motsträviga störningar i inputen, vilket undergräver deras verkliga praktiska karaktär. Den senaste tidens arbeten har ökat DNN:s robusthet genom att man monterat nätverk med hjälp av stötdämpande träningsprover, men den förbättrade prestandan kan fortfarande ligga långt under prestandan i icke-adversariella inställningar. En betydande del av detta gap kan tillskrivas minskningen i generalisering prestanda på grund av kontradiktorisk utbildning. I detta arbete utvidgar vi begreppet marginalförlust till kontradiktoriska inställningar och begränsar generaliseringsfelet för DNNs tränade under flera välkända gradientbaserade attacksystem, vilket motiverar ett effektivt legaliseringssystem baserat på spektral normalisering av DNN:s viktmatriser. Vi tillhandahåller också en beräkningseffektiv metod för att normalisera spektralnormen för konvolutionslager med godtyckliga steg och stoppningssystem i djupa konvolutionsnätverk. Vi utvärderar kraften i spektral normalisering i stor utsträckning på kombinationer av datauppsättningar, nätverksarkitekturer och kontradiktoriska utbildningsprogram. Koden finns på https://github.com/jessemzhang/dl_spectral_normalization.
REF använder PAC-Bayes generaliseringsanalys för att uppskatta robustheten hos DNNs tränade genom spec-tral legalisering mot kontradiktoriska attacker.
Generalizable Adversarial Training via Spectral Normalization
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Mathematics', 'Computer Science']}