Detta papper fastställer hastigheter av universell approximation för den grunda neurala tangentkärnan (NTK): nätverksvikter är endast tillåtna mikroskopiska förändringar från slumpmässig initiering, vilket innebär att aktiveringar är mestadels oförändrade, och nätverket är nästan ekvivalent med dess linjärisering. Rent konkret har papperet två huvudsakliga bidrag: ett generiskt system för att tillnärma funktioner med NTK genom provtagning från transportkartläggningar mellan de ursprungliga vikterna och deras önskade värden, och konstruktion av transportkartläggningar via Fouriertransforms. När det gäller det första bidraget ger bevissystemet ett annat perspektiv på hur NTK-systemet uppstår till följd av skalning: redundans i vikterna på grund av omsampling gör det möjligt att skala ned individuella vikter. När det gäller det andra bidraget hävdar den mest anmärkningsvärda transportkartläggningen att ungefär 1/10 d noder är tillräckliga för att approximera kontinuerliga funktioner, där δ beror på målfunktionens kontinuitetsegenskaper. Däremot ger nästan samma bevis en gräns på 1 / 5 2d för grunda ReLU-nätverk; detta gap tyder på en lockande riktning för framtida arbete, separera grunda ReLU-nätverk och deras linearisering. Som ekv. (1.2) är enbart affine i parametrarna, det är inte chockerande att lutning nedstigning kan analyseras. Vad som är chockerande är först och främst att lutning nedstigning på ekv. (1.1) Med liten inlärningshastighet kommer att spåra beteendet hos ekv. (1.2), och för det andra ändrar vikterna knappast som en funktion av m, Bidrag. Detta arbete ger en approximationsgrad för NTK enligt definitionen i ekv. (1.2), dessutom i "NTK-inställningen": de transporterade vikterna måste vara nära initiering, vilket betyder τ j −w j = O( 1 / på m). Mer i detalj: Kontinuerliga funktioner (jfr. Teorem 1.5). Huvudteoremet paketerar de primära verktygen här för att säga: NTK kan approximera kontinuerliga funktioner godtyckligt väl, så länge bredden är minst 1 /δ 10d, där δ beror på kontinuitet egenskaper målfunktionen; dessutom, transporterna uppfyller τ j −w j = O( 1 / till ε m), och ReLU-nätverket (eq. (1.1)) och dess linearisering (ekv. (1.2) Håll dig nära. Återanvändning av många delar av beviset, en nästan optimal hastighet 1 /δ 2d visas för ReLU-nätverk i Theorem E.1; denna klyfta mellan ReLU-nätverk och deras NTK utgör en lockande lucka för framtida arbete. Tillnärmning genom provtagning av transportkartläggningar. Den första komponenten i beviset på Teorem 1.5, som beskrivs i avsnitt 2, är ett förfarande som börjar med ett oändligt brett nätverk, och beskriver hur provtagningen introducerar redundans i vikterna, och automatiskt leder till önskade mikroskopiska transporter τ j −w j = O( 1 /. Enligt beskrivningen i Theorem 2.1 är felet mellan den oändliga bredden och de provade nätverken O( på + 1 / ε m). På så sätt ger analysen ett annat perspektiv på NTK:s skalbeteende och små viktförändringar. Uppförande av transportkartläggningar. Den andra delen av beviset för Teorem 1.5, som beskrivs i avsnitt 3, är att konstruera explicita transportkartläggningar för olika typer av funktioner. Som beskrivs i Lemma 3.3, ungefärliga kontinuerliga funktioner fortskrider genom att bygga en oändlig bredd nätverk inte direkt för målfunktionen f, utan istället dess konvolution f * G α med en Gaussian G α med liten varians α 2. Försiktighet krävs för att få en hastighet av formen 1 /σ O(d), snarare än, låt oss säga, 1 /δ O(d/δ). De huvudsakliga konstruktionerna är baserade på Fourier transforms. Avrundning av organisationen av detta dokument: denna introduktion kommer att ange det viktigaste sammanfattande resultatet och dess intuition, och sedan avsluta med relaterade arbete; Avsnitt 4 kommer att beskriva vissa odds och slutar för att approximera kontinuerliga funktioner som utelämnades från de viktigaste verktygen i Avsnitt 2 och Avsnitt 3; Avsnitt 5 kommer att avsluta med öppna problem och relaterade diskussioner. Bevisen är skissade i papperskorgen, men detaljerna är uppskjutna till bilagorna.
REF tog hänsyn till problemet med universell tillnärmning av ytliga ReLU NTK-modeller; genom att göra det införde de idén att bygga både finita och oändliga bredd approximationer till en given målfunktion genom att tillämpa en transportkarta på de vikter som provtagits från en Gaussian tidigare.
Neural tangent kernels, transportation mappings, and universal approximation
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Mathematics', 'Computer Science']}