Djuplärande modeller är ofta framgångsrikt tränas med lutning nedstigning, trots det värsta fallet hårdhet av den underliggande icke-konvexa optimeringsproblem. Nyckelfrågan är då under vilka förhållanden man kan bevisa att optimeringen kommer att lyckas. Här ger vi ett starkt resultat av detta slag. Vi anser att ett neuralt nät med ett dolt lager och en konvolutionell struktur utan överlappning och en ReLU aktiveringsfunktion. För denna arkitektur visar vi att lärande är NPfullständigt i det allmänna fallet, men att när indatadistributionen är Gaussian, lutning nedstigning konvergerar till den globala optimal i polynom tid. Såvitt vi vet är detta den första globala optimaliteten garanti för lutning nedstigning på ett konvolutionellt neuralt nätverk med ReLU aktiveringar.
REF visade att nedstigning av populationsgradienten återvinner de verkliga vikterna för ett konvolutionsfilter med icke-överlappande ingång i polynomtid.
Globally Optimal Gradient Descent for a ConvNet with Gaussian Inputs
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Computer Science', 'Mathematics']}