Djupa neurala nätverk (DNN) har uppnått enorma praktiska framgångar under de senaste åren. Dess teoretiska egenskaper (särskilt generaliseringsförmåga) är dock ännu inte särskilt tydliga, eftersom befintliga felgränser för neurala nätverk inte direkt kan användas för att förklara de statistiska beteendena hos praktiskt taget antagna DNN-modeller (som är flera klasser i sin natur och kan innehålla konvolutionella skikt). För att ta itu med utmaningen tar vi fram en ny marginal som är begränsad till DNN i detta dokument, där det förväntade 0-1-felet i en DNN-modell är övre gräns för dess empiriska marginalfel plus en Rademacher Genomsnittligt baserad kapacitetsterm. Denna nya gräns är mycket allmän och överensstämmer med de empiriska beteenden av DNN-modeller som observerats i våra experiment. Enligt det nya bundet kan minimering av det empiriska marginalfelet effektivt förbättra DNN:s testresultat. Vi föreslår därför stora marginaler för DNN-algoritmer, som inför marginalpåföljdsvillkor för DNN:s förlust av korsentropi, för att minska marginalfelet under utbildningsprocessen. Experimentella resultat visar att de föreslagna algoritmerna kan uppnå betydligt mindre empiriska marginalfel samt bättre testprestanda än standardalgoritmen DNN.
REF uppger att cross-entropy förlust inte har marginal-maximering egenskaper, och lägga till villkor till cross-entropy förlust för att uppmuntra stora marginallösningar.
Large Margin Deep Neural Networks: Theory and Algorithms
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Computer Science']}