Abstract-The generalization fel av djupa neurala nätverk via deras klassificering marginal studeras i detta papper. Vår strategi är baserad på den Jacobiska matrisen av ett djupt neuralt nätverk och kan tillämpas på nätverk med godtyckliga icke-linjäritet och pooling lager, och på nätverk med olika arkitekturer såsom mata framåt nätverk och kvarvarande nätverk. Vår analys leder till slutsatsen att en begränsad spektral norm av nätverkets Jacobian matris i närheten av träningsprover är avgörande för ett djupt neuralt nätverk av godtyckligt djup och bredd för att generalisera väl. Detta är en betydande förbättring över de nuvarande gränserna i litteraturen, vilket innebär att generaliseringsfelet växer med antingen bredden eller djupet av nätverket. Dessutom visar det att den nyligen föreslagna batch normalisering och vikt normalisering parametriseringar har goda generalisering egenskaper, och leder till ett nytt nätverk regularizer baserat på nätverkets Jacobian matris. Analysen stöds med experimentella resultat på datauppsättningarna MNIST, CIFAR-10, LaRED och ImageNet.
REF införde en regularizer baserad på Jacobian av förlustfunktionen med avseende på nätverk lager, och visade att deras regularizer kan leda till större marginallösningar.
Robust Large Margin Deep Neural Networks
{'venue': 'IEEE Transactions on Signal Processing', 'journal': 'IEEE Transactions on Signal Processing', 'mag_field_of_study': ['Mathematics', 'Computer Science']}