Vi studerar problemet med att lära sig ett lager neurala nätverk med Rektified Linear Unit (ReLU) aktiveringsfunktion, där ingångarna provtas från standard Gaussian distribution och utgångarna genereras från ett bullriga lärarnätverk. Vi analyserar prestandan av lutning nedstigning för utbildning sådan typ av neurala nätverk baserat på empirisk riskminimering, och ger algoritmberoende garantier. I synnerhet bevisar vi att tensor initiering följt av lutning nedstigning kan konvergera till mark-sanningen parametrar med en linjär hastighet upp till vissa statistiska fel. Såvitt vi vet är detta det första arbetet som kännetecknar återhämtningsgarantin för praktisk inlärning av ett lager ReLU-nätverk med flera neuroner. Numeriska experiment verifierar våra teoretiska rön.
REF visade att GD på den empiriska förlustfunktionen kan återställa sanningsparametrarna på ett lager ReLU-nätverk i linjär takt.
Learning One-hidden-layer ReLU Networks via Gradient Descent
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Computer Science', 'Mathematics']}