Vi introducerar Parseval nätverk, en form av djupa neurala nätverk där Lipschitz konstant av linjära, konvolutionella och aggregering lager begränsas till att vara mindre än 1. Parsevala nätverk är empiriskt och teoretiskt motiverade av en analys av robustheten i de förutsägelser som gjorts av djupa neurala nätverk när deras ingång är föremål för en kontradiktorisk perturbation. Det viktigaste draget i Parsevals nätverk är att bibehålla viktmatriser av linjära och konvolutionella skikt som ska vara (ungefär) Parseval tighta ramar, som är förlängningar av ortogonala matriser till icke-kvadratmatriser. Vi beskriver hur dessa begränsningar kan upprätthållas effektivt under SGD. Vi visar att Parseval nätverk matchar toppmoderna i fråga om noggrannhet på CIFAR-10/100 och Street View House Numbers (SVHN), samtidigt som de är mer robusta än sin vanilj motsvarighet mot kontradiktoriska exempel. För övrigt tenderar Parsevalnätverken också att träna snabbare och utnyttja nätens fulla kapacitet bättre.
Persevel Networks REF begränsar Lipschitz-konstanten för varje skikt av modellen.
Parseval Networks: Improving Robustness to Adversarial Examples
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Computer Science', 'Mathematics']}