Neurala nätverk uppvisar bra generalisering beteende i överparameterized regim, där antalet nätverksparametrar överstiger antalet observationer. Inte desto mindre, nuvarande generalisering gränser för neurala nätverk misslyckas med att förklara detta fenomen. I ett försök att överbrygga detta gap studerar vi problemet med att lära sig ett överparameteriserat neuralt nätverk i två lager, när data genereras av en linjärt separerbar funktion. I det fall där nätverket har Leaky ReLU-aktiveringar ger vi både optimerings- och generaliseringsgarantier för överparameteriserade nätverk. I synnerhet bevisar vi konvergensnivåerna för SGD till ett globalt minimum och ger allmänna garantier för detta globala minimum som är oberoende av nätstorleken. Därför visar vårt resultat tydligt att användningen av SGD för optimering både finner ett globalt minimum, och undviker övermontering trots modellens höga kapacitet. Detta är den första teoretiska demonstrationen att SGD kan undvika överbemanning, när man lär sig överspecificerade neurala nätverk klassificerare.
Ref förutsatte att utbildningsuppgifterna är linjärt åtskiljbara.
SGD Learns Over-parameterized Networks that Provably Generalize on Linearly Separable Data
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Mathematics', 'Computer Science']}