En av mysteriet i framgången av neurala nätverk är slumpmässigt initierade första ordningen metoder som lutning nedstigning kan uppnå noll träningsförlust även om den objektiva funktionen är icke-konvex och icke-smooth. Detta papper avmystifierar detta överraskande fenomen för två lager fullt anslutna ReLU-aktiverade neurala nätverk. För en m dold nod grund neurala nätverk med ReLU aktivering och n träningsdata, visar vi så länge m är tillräckligt stor och datan är icke-degenerat, slumpmässigt initierad lutning nedstigning konvergerar en globalt optimal lösning med en linjär konvergenshastighet för quadratic förlust funktion. Vår analys är baserad på följande observation: överparameterisering och slumpmässig initiering begränsar gemensamt varje viktvektor till att vara nära initiering för alla iterationer, vilket gör att vi kan utnyttja en stark konvexitet-liknande egenskap för att visa att lutning nedstigning konvergerar med en global linjär hastighet till den globala optimal. Vi anser att dessa insikter också är användbara för att analysera djupa modeller och andra första ordningsmetoder. * Lika bidrag. 1 Observera att ReLU inte kontinuerligt kan varieras. Man kan se ∂L(W) ∂wr som en bekväm notation för höger sida av (4) och detta är verkligen den uppdatering regel som används i praktiken. 2 Här utelämnar vi polynomets beroende av n och andra databeroende mängder.
I REF visas det att lutningsnedstigning kan uppnå noll träningsförlust med linjär konvergenshastighet för träning av tvålagers ReLU-nätverk med fyrkantsförlust.
Gradient Descent Provably Optimizes Over-parameterized Neural Networks
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Mathematics', 'Computer Science']}