Även om neurala nätverk rutinmässigt och framgångsrikt tränas i praktiken med hjälp av enkla gradientbaserade metoder, de flesta befintliga teoretiska resultat är negativa, visar att lärande sådana nätverk är svårt, i värsta fall över alla datadistributioner. I detta dokument tar vi en mer nyanserad syn, och överväger om specifika antaganden om "niceness" av indatadistributionen, eller "niceness" av målfunktionen (t.ex. När det gäller smidighet, icke-degeneracy, osammanhängande, slumpmässigt val av parametrar etc.), är tillräckliga för att garantera inlärningsförmåga med hjälp av gradientbaserade metoder. Vi ger bevis för att ingen enda klass av antaganden är tillräcklig: Å ena sidan, för någon medlem av en klass av "fina" målfunktioner, det finns svåra indatafördelningar. Å andra sidan identifierar vi en familj av enkla målfunktioner, som är svåra att lära sig även om indatadistributionen är "fin". För att bevisa våra resultat utvecklar vi några verktyg som kan vara av oberoende intresse, såsom att utöka Fourier-baserade hårdhetstekniker som utvecklats i samband med statistiska frågor [3], från Boolesk kub till Euclidean utrymme och till mer allmänna klasser av funktioner.
REF visade att om antingen målfunktionen eller indatadistributionen är "fin", optimering, kan algoritmer som används i praktiken lyckas.
Distribution-Specific Hardness of Learning Neural Networks
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Mathematics', 'Computer Science']}