Nya teoretiska arbeten har etablerat kopplingar mellan överparametriserade neurala nätverk och linjäriserade modeller som styrs av Neural Tangent Kernel (NTK). NTK-teorin leder till konkret konvergens och generaliseringsresultat, men den empiriska prestandan hos neurala nätverk observeras överskrida deras linjäriserade modeller, vilket tyder på insufficiens av denna teori. Mot att minska denna lucka, undersöker vi utbildningen av överparametriserade neurala nätverk som är bortom NTK regimen men fortfarande styrs av Taylor expansionen av nätverket. Vi för fram idén om att randomisera de neurala nätverken, vilket gör det möjligt för dem att fly sina NTK och par med kvadratiska modeller. Vi visar att optimeringslandskapet av randomiserade tvålagersnätverk är trevligt och möjligt att fly-saddle algoritmer. Vi bevisar konkreta generaliserings- och expressivitetsresultat på dessa randomiserade nätverk, vilket leder till urval av komplexitetsgränser (av att lära sig vissa enkla funktioner) som matchar NTK och som dessutom kan vara bättre med en dimensionsfaktor när milda fördelningsantaganden är närvarande. Vi visar att vår randomiseringsteknik kan generaliseras systematiskt bortom det kvadratiska fallet, genom att använda den för att hitta nätverk som är kopplade med högre-order termer i deras Taylor-serien.
REF föreslog ett utbildningsförfarande med randomiseringsteknik och visade att de erhållna tvålagersnätverken kan överträffa neural tangentkärnan med en dimensionsfaktor.
Beyond Linearization: On Quadratic and Higher-Order Approximation of Wide Neural Networks
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Computer Science', 'Mathematics']}