Hur väl klassificerar en klassisk djup nätarkitektur som AlexNet eller VGG19 på en standarddatauppsättning som CIFAR-10 när dess "bredd" -namely, antal kanaler i konvolutionella lager, och antal noder i fullt anslutna interna lager - tillåts öka till oändlighet? Sådana frågor har kommit i framkant i strävan att teoretiskt förstå djupt lärande och dess mysterier om optimering och generalisering. De kopplar också djupt lärande till föreställningar som Gaussiska processer och kärnor. En nyligen publicerad tidning [Jacot et al., 2018] introducerade Neural Tangent Kernel (NTK) som fångar beteendet hos fullt anslutna djupa nät i oändlig bredd gräns tränas av lutning nedstigning; detta objekt var implicit i några andra senaste papper. En efterföljande uppsats [Lee et al., 2019] gav heuristiska Monte Carlo metoder för att uppskatta NTK och dess förlängning, Convolutional Neural Tangent Kernel (CNTK), och använde detta för att försöka förstå det begränsande beteendet på datauppsättningar som CIFAR-10. En attraktion av sådana idéer är att en ren kärnbaserad metod används för att fånga kraften i ett fullt tränat djupt nät av oändlig bredd. Det aktuella dokumentet ger den första effektiva exakta algoritmen (baserad på dynamisk programmering) för att beräkna CNTK samt en effektiv GPU-implementering av denna algoritm. Detta resulterar i ett signifikant nytt riktmärke för prestanda för en ren kärnbaserad metod på CIFAR-10, som är 10 % högre än de metoder som rapporterats i [Novak et al., 2019], och endast 5 % lägre än prestandan för motsvarande finita djupnätsarkitektur (en gång batch normalisering etc. är avstängda). Vi ger det första icke-asymptotiska beviset som visar att ett fullt utbildat tillräckligt brett nät verkligen motsvarar kärnans regressionsprediktor med NTK. Våra experiment visar också att tidigare Monte Carlo approximation kan försämra prestandan avsevärt, vilket belyser kraften i vår exakta kärnberäkning, som vi har tillämpat även på den fullständiga CIFAR-10 dataset och 20-lager nät.
REF är formellt bevisad polynomiskt bred neural netto prediktor tränad av gradient nedstigning är likvärdig med NTK prediktor.
On Exact Computation with an Infinitely Wide Neural Net
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Mathematics', 'Computer Science']}