Ny forskning visar att följande två modeller är likvärdiga: a) oändligt breda neurala nätverk (NN) tränas under l2 förlust av lutning nedstigning med oändligt liten inlärningshastighet (b) kärna regression med avseende på så kallade Neural Tangent Kernels (NTKs) (Jacot et al., 2018 ). En effektiv algoritm för att beräkna NTK, liksom dess konvolutionella motsvarigheter, visas i Arora et al. (2019a), som gjorde det möjligt att studera prestanda av oändligt breda nät på dataset som CIFAR-10. Superkvadratisk körtid för kärnmetoder gör dem dock bäst lämpade för små datauppgifter. Vi rapporterar resultat som tyder på neurala tangentkärnor utför starkt på lågdatauppgifter. 1. Vad är det för fel på dig? På en standardtestbädd av klassificering/regressionsuppgifter från UCI-databasen slår NTK SVM tidigare guldstandard, Random Forests (RF) och även motsvarande finita nät. 2. Utgångspunkten är följande: På CIFAR-10 med 10 -640 träningsprover slår Convolutional NTK konsekvent ResNet-34 med 1% -3%. 3. Vad är det som händer? På VOC07 testbädd för några bilder klassificering uppgifter på ImageNet med överföring lärande (Goyal et al., 2019), ersätter den linjära SVM som för närvarande används med en Convolutional NTK SVM förbättrar konsekvent prestanda. 4. Vad är det som händer? När NTK:s prestanda jämförs med det finita nät som den härleddes från, börjar NTK:s beteende vid lägre nettobredder än vad som föreslagits av teoretisk analys(Arora et al., 2019a). NTK:s effekt kan spåras till lägre varians av produktionen. Ironiskt nog verkar den ovan nämnda analysen, vid första anblicken, minska studien av en komplicerad modell -djupa nätverk - till en äldre, enklare modell - kernel regression - i praktiken den enklare modellen är beräkningsmässigt mindre effektiv eftersom körtiden för kärna regression kan vara kvadratisk i antalet datapunkter! 1 Således datorisering med CNTK-kärna på stora datauppsättningar som ImageNet verkar för närvarande ogenomförbar. Även på CIFAR-10 verkar det omöjligt att införliva dataförstärkning. Kärnklassningsmaskiner är dock mycket effektiva på små datauppsättningar. Här skulle NTK kunna vara praktiskt och samtidigt föra en del av kraften i de djupa nätverken till dessa inställningar. Vi minns nyligen att Olson et al. (2018) visade att flerlagers neurala nätverk kan vara någorlunda effektiva på små datauppsättningar, särskilt på en UCI testbädd av uppgifter med så få som dussintals träningsexempel. Detta krävde naturligtvis en del hyperparameterstämning, även om de noterade att sådan inställning också behövs för mästarmetoden, Random Forests (RF), som flerlagers neurala nätverk inte kunde slå. Det är därför naturligt att kontrollera om NTK - motsvarande oändligt stora fullt anslutna nätverk - fungerar bra i sådana små data uppgifter 2. Konvexa mål som uppstår från kärnor har stabila lösare med minimal hyperparameterinställning. Dessutom verkar slumpmässig initiering i djup nätverksträning leda till högre varians i produktionen, vilket kan skada prestanda i små-data inställningar. Kan NTK göra bättre ifrån sig? Nedan kommer vi att se att i installationen av Olson et al. (2018), NTK prediktorer verkligen överträffar motsvarande ändliga djupa nätverk, och också något slår den tidigare guldstandarden, Random Forests. Detta tyder på att NTK prediktorer bör ingå i någon lista över off-the-shelf maskininlärningsmetoder. Följande är lågdatainställningar där vi använde NTKs och CNTKs: • I testbädden av 90 klassificeringsuppgifter från UCI databas, NTK prediktor uppnår överlägsen, och utan tvekan den starkaste klassificering prestanda. Detta verifieras genom flera standardiserade statistiska tester, inklusive Friedman Rank, genomsnittlig noggrannhet, procentandel av maximal noggrannhet (PMA) och sannolikheten för att uppnå 90%/95% maximal noggrannhet (P90 och P95), utförs för att jämföra prestanda för olika klassificeringar på 90 datauppsättningar från UCI-databasen. (Författarna planerar att släppa koden, för att tillåta off-the-shelf användning av denna metod. Det kräver inte GPU.) • Vi finner att NN:s prestationer ligger nära NTK:s. På varje datauppsättning från UCI-databasen ligger skillnaden mellan NN:s och NTK:s klassificeringsnoggrannhet inom 5 %. Å andra sidan kan skillnaden mellan klassificeringsnoggrannheten för NN (eller NTK) och för andra klassificeringsgrundare som RF vara så hög som 20 %. Detta visar i lågdatainställningar, NTK är verkligen en bra beskrivning av NN. Dessutom finner vi att NTK är stabilare (mindre varians), vilket verkar hjälpa den att uppnå bättre noggrannhet på små datauppsättningar (jfr. Fig. 2b ). • CNTK är användbart i datorseende uppgifter med små data. På CNTK-10 jämför vi CNTK med ResNet med 10 -640 träningsprover och hitta CNTK kan slå ResNet med 1% -3%. Vi studerar vidare några bilder klassificering uppgift på VOC07 dataset. Standardmetoden är att först använda ett förtränat nätverk, t.ex., ResNet-50 tränas på ImageNet, för att extrahera funktioner och sedan direkt tillämpa en linjär klassificering på de extraherade funktionerna (Goyal et al., 2019). Här ersätter vi den linjära klassificeringen med CNTK och får bättre klassificeringsnoggrannhet i olika konfigurationer. Pappersorganisation. Avsnitt 2 diskuterar därmed sammanhängande arbete. I avsnitt 3 granskas härledningen av NTK. I avsnitt 4 presenteras experiment med användning av NN och NTK på UCI-datauppsättningar. I avsnitt 5 presenteras experiment med CNN och CNTK på små CIFAR-10 datauppsättningar. I avsnitt 6 presenteras experiment som använder CNTK för den få-shot inlärningsmiljön. Ytterligare tekniska detaljer finns i bilagan. Vår tidning är inspirerad av Fernández-Delgado et al. (2014) som utförde omfattande experiment på UCI-dataset. Deras slutsats är slumpmässig skog presterar bäst, vilket följs av SVM med Gaussian 1 Flaskhalsen bygger kärnan, som skalar fyrkantigt med antalet datapunkter (Arora et al., 2019a). Regression kräver också matris inversion, som kan vara kubik i antalet datapunkter. 2 Observera att NTKs också kan användas i kärnan SVMs, som inte är kända för att vara likvärdiga med utbildning oändligt breda nätverk. För närvarande är ekvivalensen endast känd för regression av åsen. Vi försökte båda två.
Arora m.fl. REF föreslår användning av neurala tangentkärnor i låga datauppgifter.
Harnessing the Power of Infinitely Wide Deep Nets on Small-data Tasks
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Computer Science', 'Mathematics']}