Vid initiering, artificiella neurala nätverk (ANNs) är likvärdiga med Gaussian processer i den oändliga bredden gräns (14; 11), alltså ansluta dem till kärnan metoder. Vi bevisar att utvecklingen av en ANN under träning också kan beskrivas med en kärna: under lutning nedstigning på parametrarna för en ANN, nätverksfunktionen f  på (som kartlägger ingångsvektorer till utdatavektorer) följer kärngradienten av den funktionella kostnaden (som är konvex, i motsats till parameterkostnaden) w.r.t. En ny kärna: Neural Tangent Kernel (NTK). Denna kärna är central för att beskriva generaliseringsfunktionerna hos ANN. Medan NTK är slumpmässigt vid initiering och varierar under träningen, i den oändliga bredden begränsar den sig till en explicit begränsande kärna och den förblir konstant under träningen. Detta gör det möjligt att studera utbildningen av ANN i funktionsutrymme istället för parameterutrymme. Konvergensen i utbildningen kan då relateras till den begränsande NTK:s positiva slutpunkt. Vi bevisar att den begränsande NTK är positiv när datan stöds på sfären och den icke-linjära är icke-polynomisk. Vi fokuserar sedan på inställningen av minst-kvarts regression och visar att i den oändliga bredden gräns, nätverksfunktionen f  och följer en linjär differentialekvation under träning. Konvergensen är snabbast längs de största kärnhuvudkomponenterna i inmatningsdata med avseende på NTK, vilket tyder på en teoretisk motivation för tidigt stopp. Slutligen studerar vi NTK numeriskt, observerar dess beteende för breda nätverk, och jämför det med den oändliga breddgränsen.
REF visade först att nätverksfunktionen under utbildningen följer en nedstigning längs kärngradienten med avseende på Neural Tangent Kernel (NTK) under oändlighetsbreddinställning.
Neural Tangent Kernel: Convergence and Generalization in Neural Networks
{'venue': 'In Advances in neural information processing systems (pp. 8571-8580) 2018', 'journal': None, 'mag_field_of_study': ['Mathematics', 'Computer Science']}