Prov komplexitet resultat från beräkningslära teori, när tillämpas på neurala nätverk lärande för mönster classi katjon problem, tyder på att för god generalisering prestanda antalet utbildningsexempel bör växa minst linjärt med antalet justerbara parametrar i nätverket. Resultat i detta papper visar att om ett stort neuralt nätverk används för ett mönster classi katjon problem och lärande algoritm NDs ett nätverk med små vikter som har små kvadratfel på träningsmönster, då generaliseringen prestanda beror på storleken på vikterna snarare än antalet vikter. Till exempel, överväga en två lager feedforward nätverk av sigmoid enheter, i vilken summan av magnituderna av de vikter som är förknippade med varje enhet begränsas av A och ingångsdimensionen är n. Vi visar att felklassificering sannolikhet är inte mer än en viss feluppskattning (som är relaterad till kvadratfel på träningssetet) plus A 3 p (log n) = m (ignorering log A och log m faktorer), där m är antalet träningsmönster. Detta kan förklara generaliseringen prestanda neurala nätverk, särskilt när antalet utbildning
Barlett (1998) REF visade att VC-dimensionen inte är relevant för att mäta generaliseringsprestanda för neurala nätverk, snarare är L1-normen för nätverksvikterna vanligare.
The Sample Complexity of Pattern Classification With Neural Networks: The Size of the Weights is More Important Than the Size of the Network
{'venue': None, 'journal': None, 'mag_field_of_study': ['Computer Science']}