Tidigare arbeten har visat att, något överraskande, överparametrisering kan hjälpa generalisering i neurala nätverk. För att förklara detta fenomen antar vi ett marginalbaserat perspektiv. Vi etablerar: 1) för flera lager feedforward relu nätverk, den globala minimeraren av en svagt regulariserad korsentropi förlust har den maximala normaliserade marginalen bland alla nätverk, 2) som ett resultat, ökar överparametriseringen förbättrar den normaliserade marginalen och generalisering felgränser för två lager nätverk. I synnerhet har en oändlig storlek neurala nätverk de bästa generalisering garantier. De typiska oändliga funktionsmetoderna är kärnmetoder; vi jämför den neurala nettomarginalen med den för kärnmetoder och konstruerar naturliga fall där kärnmetoder har mycket svagare generaliseringsgarantier. Vi bekräftar denna klyfta mellan de två tillvägagångssätten empiriskt. Slutligen är denna oändliga-neuron synvinkel också fruktbar för att analysera optimering. Vi visar att en perturbed gradient flöde på oändlig storlek nätverk finner en global optimizer i polynomial tid.
I REF antog författarna ett marginalbaserat perspektiv, där de visade att den optimala punkten för en svagt regulariserad förlust har den maximala marginalen egenskap, alltså överparameterisering kan förbättra generalisering gränser.
On the Margin Theory of Feedforward Neural Networks
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Computer Science']}