Vi presenterar en formulering av djupt lärande som syftar till att producera en stor marginalklassificerare. Begreppet marginal, minsta avstånd till en beslutsgräns, har tjänat som grund för flera teoretiskt djupgående och empiriskt framgångsrika resultat för både klassificerings- och regressionsuppgifter. De flesta stora marginalalgoritmer är dock endast tillämpliga på grunda modeller med en förinställd funktionsrepresentation; och konventionella marginalmetoder för neurala nätverk tillämpar endast marginal vid utdatalagret. Sådana metoder är därför inte väl lämpade för djupa nätverk. I detta arbete föreslår vi en ny förlustfunktion för att införa en marginal på alla valda lager i ett djupt nätverk (inklusive ingång och dolda lager). Vår formulering gör det möjligt att välja vilken l p norm (p ≥ 1) på den metriska mätningen marginalen. Vi visar att den beslutsgräns som erhålls genom vår förlust har fina egenskaper jämfört med standard klassificering förlustfunktioner. Speciellt visar vi förbättrade empiriska resultat på MNIST, CIFAR-10 och ImageNet dataset på flera uppgifter: generalisering från små träningsset, korrumperade etiketter och robusthet mot motgångar. Den resulterande förlusten är allmän och kompletterar befintliga dataförstoring (såsom slumpmässig/adversarial inputtransform) och regularization tekniker (såsom vikt förfall, avhopp, och batch norm).
Den senaste tidens arbete REF föreslog en linearisering för att approximera marginalen, och definierade marginalen i alla skikt av nätet.
Large Margin Deep Networks for Classification
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Mathematics', 'Computer Science']}