Vi anser att problemet med att lära sig ett en-dolt-lager neurala nätverk med icke-överlappande konvolutionella skikt och ReLU aktiveringsfunktion, dvs. f (Z; w, a) = j j σ(w T Z j ), där både konvolutionsvikterna w och utgångsvikterna a är parametrar att lära sig. Vi bevisar att med Gaussian input Z finns det ett falskt lokalt minimum som inte är ett globalt mininum. Förvånansvärt nog, i närvaro av lokalt minimum, med början från slumpmässigt initierade vikter, lutning nedstigning med vikt normalisering kan fortfarande bevisas för att återställa de sanna parametrarna med konstant sannolikhet (som kan ökas till godtyckligt hög noggrannhet med flera omstarter). Vi visar också att med konstant sannolikhet, samma förfarande kan också konvergera till falska lokala minimum, visar att det lokala minimum spelar en icke-trivial roll i dynamiken av lutning nedstigning. Dessutom visar en kvantitativ analys att lutningsnedstigningsdynamiken har två faser: den börjar långsamt, men konvergerar mycket snabbare efter flera iterationer.
REF studerade vidare problemet med att lära sig det en-dolda-lager ReLU-baserade konvolutionella neurala nätverket i no-overlap patch inställning.
Gradient Descent Learns One-hidden-layer CNN: Don't be Afraid of Spurious Local Minima
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Mathematics', 'Computer Science']}