Feedfore nätverk tillsammans med sina träningsalgoritmer är en klass av regressionstekniker som kan användas för att lära sig att utföra vissa uppgifter från en uppsättning exempel. Frågan om generalisering av nätverksprestanda från en ändlig utbildning till osedda data är helt klart av avgörande betydelse. I denna artikel visar vi först att generaliseringsfelet kan brytas ned i två termer: approximationsfelet, på grund av den otillräckliga representationskapaciteten hos ett finitt storleksnätverk, och skattningsfelet, på grund av otillräcklig information om målfunktionen på grund av det ändliga antalet prover. Vi betraktar sedan problemet med inlärning funktioner som tillhör vissa Sobolev utrymmen med gaussiska radial bas funktioner. Med hjälp av den ovan nämnda nedbrytningen band vi generaliseringsfelet i termer av antal basfunktioner och antal exempel. Även om den gräns som vi härleder är specifik för radial bas funktioner, ett antal observationer som härrör från det gäller alla approximationsteknik. Vårt resultat kastar också ljus över sätt att välja en lämplig nätverksarkitektur för ett visst problem och de typer av problem som effektivt kan lösas med ändliga resurser, dvs. med ett begränsat antal parametrar och ändliga mängder data.
Niyogi och Girosi REF påpekar att för Radial grundfunktioner, efter ett kritiskt antal noder, överbestämmande inträffar och generaliseringsfelet ökar.
On the Relationship between Generalization Error, Hypothesis Complexity, and Sample Complexity for Radial Basis Functions
{'venue': 'Neural Computation', 'journal': 'Neural Computation', 'mag_field_of_study': ['Mathematics', 'Computer Science']}