Vi bevisar den exakta skalningen, på ändligt djup och bredd, för medelvärdet och variansen av neural tangentkärnan (NTK) i ett slumpmässigt initierat ReLU-nätverk. Standardavvikelsen är exponentiell i förhållandet mellan nätdjup och bredd. Så även i gräns för oändlig överparameterisering är NTK inte deterministisk om djup och bredd samtidigt tenderar till oändlighet. Dessutom bevisar vi att NTK för så djupa och breda nät har en icke-trivial utveckling under utbildningen genom att visa att medelvärdet av dess första SGD-uppdatering också är exponentiellt i förhållandet mellan nätdjup och bredd. Detta står i skarp kontrast till det system där djupet är fast och nätbredden är mycket stor. Våra resultat tyder på att djupa och breda ReLU-nätverk, till skillnad från relativt grunda och breda nätverk, kan lära sig databeroende funktioner även i det så kallade lata utbildningssystemet.
Finita breddkorrigeringar till NTK i vaniljfallet infördes i REF.
Finite Depth and Width Corrections to the Neural Tangent Kernel
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Computer Science', 'Mathematics']}