Vi undersöker den allmänna betydelsen av djupt lärande baserat på känsligheten för input perturbation. Vi tror att den höga känsligheten för perturbering av data försämrar prestandan på det. För att minska känsligheten för perturbation föreslår vi en enkel och effektiv regulariseringsmetod, kallad spektral norm legalisering, som straffar den höga spektral norm av vikt matriser i neurala nätverk. Vi ger stödjande bevis för ovannämnda hypotes genom att experimentellt bekräfta att de modeller som tränas med hjälp av spektral normreglering uppvisar bättre allmängiltighet än andra baslinjemetoder.
Motiverad av det, REF bestraffade spektral norm av vikt matriser i CNNs.
Spectral Norm Regularization for Improving the Generalizability of Deep Learning
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Mathematics', 'Computer Science']}