I denna uppsats studerar vi problemet med att lära sig ett ytligt artificiellt neuralt nätverk som bäst passar en träningsdata uppsättning. Vi studerar detta problem i det överparameteriserade systemet där antalet observationer är färre än antalet parametrar i modellen. Vi visar att med de quadratic aktiveringar, optimering landskapet av utbildning, så ytliga neurala nätverk, har vissa gynnsamma egenskaper som gör det möjligt globalt optimala modeller för att hittas effektivt med hjälp av en mängd lokala sökheuristik. Detta resultat håller för en godtycklig utbildning data input / output par. För olika aktiveringsfunktioner visar vi också att lutningsnedstigningen, när den initieras på lämpligt sätt, konvergerar linjärt till en globalt optimal modell. Detta resultat fokuserar på en realizable modell där indata väljs i.i.d. från en Gaussisk distribution och etiketterna genereras enligt planterade viktkoefficienter. Index Terms-Nonconvex optimering, överparametriserade neurala nätverk, slumpmässig matristeori.
Nyligen visade REF för grunda neurala nätverk, antalet dolda noder krävs bara för att vara större eller lika med ingångsdimensionen för l 2 - förlust.
Theoretical Insights Into the Optimization Landscape of Over-Parameterized Shallow Neural Networks
{'venue': 'IEEE Transactions on Information Theory', 'journal': 'IEEE Transactions on Information Theory', 'mag_field_of_study': ['Computer Science', 'Mathematics']}