Vi analyserar konvergensen av (stokastisk) lutning nedstigning algoritm för att lära sig en convolutional filter med Rektified Linear Unit (ReLU) aktiveringsfunktion. Vår analys bygger inte på någon specifik form av indatadistributionen och våra bevis använder bara definitionen av ReLU, i motsats till tidigare verk som är begränsade till standard Gaussian input. Vi visar att (stokastisk) lutning nedstigning med slumpmässig initiering kan lära sig det konvolutionella filtret i polynom tid och konvergenshastigheten beror på jämnheten i ingångsfördelningen och närheten av patchar. Såvitt vi vet är detta den första återvinningsgarantin för gradientbaserade algoritmer för konvolutionsfilter på icke-gaussiska ingångsdistributioner. Vår teori motiverar också tvåstegsstrategin i djupa neurala nätverk. Medan vårt fokus är teoretiskt, presenterar vi också experiment som illustrerar våra teoretiska resultat. Djupa konvolutionella neurala nätverk (CNN) har uppnått state-of-the-art prestanda i många tillämpningar såsom datorseende [Krizjevsky et al., 2012], naturligt språk bearbetning [Dauphin et al., 2016] och förstärkning lärande tillämpas i klassiska spel som Go [Silver et al., 2016]. Trots den mycket icke konvexa karaktären av den objektiva funktionen, enkla första ordningen algoritmer som stokastisk lutning nedstigning och dess varianter ofta träna sådana nätverk framgångsrikt. Å andra sidan är framgången med konvolutionella neurala nätverk fortfarande svårfångad ur ett optimeringsperspektiv. När indatadistributionen inte begränsas, befintliga resultat är mestadels negativa, såsom hårdhet att lära sig ett 3-node neurala nätverk [Blum och Rivest, 1989] eller en icke-överlappande convolutional filter [Brutzkus och Globerson, 2017]. Nyligen, Shamir [2016] visade lära sig en enkel ettlager fullt anslutna neurala nätverk är svårt för vissa specifika ingångsdistributioner. Dessa negativa resultat tyder på att, för att förklara den empiriska framgången för SGD för lärande neurala nätverk, krävs starkare antaganden om indatadistributionen. Nyligen, en linje av forskning [Tian, 2017, Brutzkus och Globerson, 2017, Li och Yuan, 2017, Soltanolkotabi, 2017, Zhong et al., 2017 antog input distribution vara standard Gaussian N (0, I) och visade (stokastisk) lutning nedstigning kan återställa neurala nätverk med ReLU aktivering i polynom tid. * Detta arbete görs medan författaren är på Facebook AI Research.
Dessutom visar REF att lutning nedstigning framgångsrikt lär sig en två-lagers konvolutionella neurala nätverk trots förekomsten av dåliga lokala minima.
When is a Convolutional Filter Easy To Learn?
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Computer Science', 'Mathematics']}