Abstrakt. För en gemensam klass av artificiella neurala nätverk, det genomsnittliga integrerade kvadratfelet mellan det uppskattade nätverket och en målfunktion / visas att begränsas av där n är antalet noder, d är indatadimensionen av funktionen, N är antalet utbildningsobservationer, och Cf är det första absoluta ögonblicket av Fourier magnitud fördelning av /. De två bidragen till denna totala risk är approximationsfelet och skattningsfelet. Tillnärmningsfel avser avståndet mellan målfunktionen och den närmaste neurala nätverksfunktionen hos en given arkitektur och skattningsfel avser avståndet mellan denna ideala nätverksfunktion och en uppskattad nätverksfunktion. Med n ~ Cf(N/(dlog AT))1/2 noder är storleksordningen på det genomsnittliga integrerade kvadratfelet optimerad till att vara O(Cf ((d/N) Den bundna visar förvånansvärt gynnsamma egenskaper hos nätuppskattning jämfört med traditionella serier och icke-parametriska kurvauppskattning tekniker i det fall d är måttligt stor. Liknande gränser erhålls när antalet noder n inte är förvalt som en funktion av Cf (som i allmänhet inte är känd a priori), men snarare antalet noder optimeras från de observerade data genom användning av en komplexitet legalisering eller minsta beskrivning längd kriterium. Analysen omfattar Fourier tekniker för approximationsfel, metriska entropiöverväganden för skattningsfelet, och en beräkning av indexet för upplösning av minsta komplexitetsuppskattning av nätverksfamiljen.
I allmänhet blir approximationsgränserna snävare när antalet neuroner i det enda dolda skiktet växer, dvs.. approximationen bunden är proportionell mot inversen av kvadratroten av antalet neuroner REF.
Approximation and Estimation Bounds for Artificial Neural Networks
{'venue': 'Machine Learning', 'journal': 'Machine Learning', 'mag_field_of_study': ['Mathematics']}