Medan optimeringsproblem bakom djupa neurala nätverk är mycket icke-konvex, det ofta observeras i praktiken att utbildning djupa nätverk verkar möjligt utan att fastna i suboptimala punkter. Det har hävdats att så är fallet eftersom alla lokala minima är nära att vara globalt optimala. Vi visar att detta är (nästan) sant, i själva verket är nästan alla lokala minima globalt optimala, för ett fullt uppkopplat nätverk med squared förlust och analytisk aktivering funktion med tanke på att antalet dolda enheter i ett skikt av nätverket är större än antalet träningspunkter och nätverksstrukturen från detta lager på är pyramidal.
Nguyen och Hein REF hävdade att nästan alla lokala minima är globala optimala i fullt anslutna breda neurala nätverk, vars antal dolda neuroner i ett lager är större än antalet träningspoäng.
The loss surface of deep and wide neural networks
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Mathematics', 'Computer Science']}