Vi bevisar att för en L-lager fullt anslutna linjära neurala nätverk, om bredden på varje dolt lager är  och L · r · dout · σ 3, där r och σ är rangen och tillståndsnumret för ingångsdata, och dout är utgångsdimensionen, då lutning nedstigning med Gaussian slumpmässig initialisering konvergerar till ett globalt minimum vid en linjär hastighet. Antalet iterationer för att hitta en "suboptimal lösning" är O(σ log( 1  på )). Vår polynom övre gräns på den totala löptiden för breda djupa linjära nätverk och den nedre gränsen för smala djupa linjära neurala nätverk [Shamir, 2018] tillsammans visar att breda lager är nödvändiga för att optimera djupa modeller. 1 Vi utelämnar beroendet av andra parametrar här. Se Theorem 4.1 för de exakta kraven.
Mest relevant för vårt arbete är resultatet av REF, som visar att om bredden av dolda lager är större än djupet, lutning nedstigning med Gaussian initiering kan effektivt konvergera till ett globalt minimum.
Width Provably Matters in Optimization for Deep Linear Neural Networks
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Mathematics', 'Computer Science']}