Djupa nät generaliseras bra trots att de har fler parametrar än antalet träningsprover. Nya arbeten försöker ge en förklaring med hjälp av PAC-Bayes och Marginal-baserade analyser, men ännu inte resulterar i prov komplexitet gränser bättre än naiv parameterräkning. Den aktuella tidningen visar generalisering gränser som är storleksordningar bättre i praktiken. Dessa förlitar sig på nya koncisa reparametriseringar av det utbildade nätet - en kompression som är explicit och effektiv. Dessa ger generalisering gränser via en enkel kompression-baserad ram som införs här. Våra resultat ger också en viss teoretisk motivering till utbredd empirisk framgång när det gäller att komprimera djupa nät. Analys av riktigheten i vår kompression bygger på några nyligen identifierade "buller stabilitet" egenskaper tränade djupa nät, som också är experimentellt verifierade. Studien av dessa egenskaper och resulterande generalisering gränser utvidgas också till konvolutionella nät, som hade undvikit tidigare försök att bevisa generalisering.
REF utvecklar gränser baserade på nätverkens bullerstabilitetsegenskaper: ökad stabilitet innebär bättre generalisering.
Stronger generalization bounds for deep nets via a compression approach
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Mathematics', 'Computer Science']}