Interpolatorer-skattare som uppnår noll utbildning fel-har dragit till sig ökad uppmärksamhet i maskininlärning, främst eftersom toppmoderna neurala nätverk verkar vara modeller av denna typ. I detta papper studerar vi minst 2 norm ("grötfri") interpolering i högdimensionella minst kvadrat regression. Vi överväger två olika modeller för funktionsfördelningen: en linjär modell, där funktionsvektorerna xi R p erhålls genom att applicera en linjär transform till en vektor av i.i.d. poster, xi =  till 1/2 zi (med zi  till R p ); och en icke-linjär modell, där funktionen vektorer erhålls genom att passera inmatningen genom en slumpmässig ett lager neurala nätverk, xi =  och (W zi) (med zi R d, W  till R p×d en matris av i.i.d. poster och en aktiveringsfunktion som verkar komponentvis på W zi). Vi återhämtar-i ett exakt kvantitativt sätt-flera fenomen som har observerats i storskaliga neurala nätverk och kärnmaskiner, inklusive "dubbel nedstigning" beteende av prognosen risken, och de potentiella fördelarna med överparametrisering. ArXiv:1903.08560v2 [math.ST] 2 Apr 2019 • Linjär modell. Här varje x i =... 1/2 z i, där z i R p har i.i.d. poster med noll medelvärde och enhet varians och  på R p×p deterministisk och positiv definitiv. Detta är en standardmodell i slumpmässig matristeori och vi utnyttjar kända resultat från den litteraturen för att få en ganska fullständig asymptotisk karakterisering av risken för out-of-proves förutsägelse. I synnerhet, vi återfinner ett antal fenomen som har observerats i kärnan regression och neurala nätverk (sammanfattning i nästa underavsnitt). • Ickelinjär modell. Här varje poster från N (0, 1/d), och ∂ är en aktiveringsfunktion som agerar komponentvis. Detta motsvarar ett tvålagers neuralt nätverk med slumpmässiga vikter vid det första lagret, och vikter vid det andra skiktet som ges av regressionskoefficienterna β. Denna modell introducerades av Rahimi och Recht (2008) som en randomiserad metod för skalning av kärnmetoder till stora datauppsättningar. Men (relaterat till den linjära modell som beskrivs ovan) är det mycket mindre studeras i den slumpmässiga matristeori litteratur. Vi bevisar ett nytt asymptotiskt resultat som gör att vi kan karakterisera förutsägelsen varians. Resultatet är anmärkningsvärt nära resultatet för den linjära modellen (och i vissa fall identiskt med den), trots det faktum att d kan vara mycket mindre än p. På grund av dess enkelhet, den linjära modellen abstraherar bort några intressanta egenskaper hos modellen (1), särskilt skillnaden mellan indatadimensionen d och antalet parametrar p. Men, även på grund av dess enkelhet, kan vi utveckla en ganska fullständig bild av den asymptotiska risken (som visar effekten av korrelationer mellan egenskaper, signal-to-buller förhållandet, styrkan i modellen felspecifikation, etc.). Det faktum att de två modellerna ger nära relaterade resultat (för riskvarianskomponenten) stöder förhoppningen att den linjära modellen fortfarande kan ge användbara insikter i modellen (1). I vad som följer, vi studerar out-of-prove prediktion risken för minsta 2 norm (eller min-norm, för kort) minst kvadratskattning, i en asymptotic inställning där både antalet prover och funktioner divergera, n, p → ❌, och deras förhållande konvergerar till en icke-noll konstant, p/n → γ. När γ < 1, vi kallar problemet underparametrized, och när γ > 1, vi kallar det överparametrized. Nedan sammanfattar vi våra huvudsakliga resultat på den asymptotiska risken. Ange den underliggande signalen och egenskapen kovariansmatris med β respektive SNR-förhållandet mellan signal och buller (definieras exakt i avsnitt 3.3). Observera att alla utom den sista punkten nedan avser den linjära modellen; se även figur 1 för stödytor, av de asymptotiska riskkurvorna för olika fall av intresse. Detta anslag är avsett att täcka utgifter för tjänstemän och tillfälligt anställda som arbetar med politikområdet Hälsa och konsumentskydd. I det underparametriserade systemet (γ < 1) är risken endast varians (det finns ingen partiskhet), och är inte beroende av β,  och (se Theorem 1). Dessutom skiljer sig riskerna åt när vi närmar oss interpoleringsgränsen (som γ → 1). 1. Vad är det för fel på dig? I det överparametriserade systemet (γ > 1) består risken av både bias och varians, och är i allmänhet beroende av β (se Theorem 4, Corollary 1, bilaga A.5). 2. Utgångspunkten är följande: När SNR ≤ 1 är risken monotont minskande jämfört med γ  och närmar sig nollrisken (från ovan) som γ → γ (se avsnitt 3.3). 3. Vad är det som händer? När SNR > 1 har en lokal minimirisk på γ® (1, ∞), är bättre än nollrisken för tillräckligt stor γ, och närmar sig nollrisken (underifrån) som γ → γ (se avsnitt 3.3). 4. Vad är det som händer? För en felspecificerad modell, när SNR > 1, kan risken uppnå sitt globala minimum på γ  ska (1, ∞) (när det finns tillräckligt stark approximationsfördel, se avsnitt 5.3). Optimalt justerad åsregression dominerar min-norm minsta kvadratskattning i risk, över alla värden av γ och SNR, i både väl specificerade och felspecificerade inställningar. För en felspecificerad modell uppnår optimalt justerad åsregression sitt globala minimum runt γ = 1 (se avsnitt 6). 6. Vad är det som händer? För den ickelinjära modellen är de asymptotiker vi får fortfarande (förvånansvärt) exakta (betyder, inga dolda konstanter) (se Theorem 7). När det gäller en "rent icke-linjär" aktiveringsfunktion, visar vår teori att den asymptotiska risken, något anmärkningsvärt, matchar den linjära modellen med isotropa egenskaper (se Corollary 2). Några kommentarer är i sin ordning. Vi numrerar den första punkten ovan (som ger viktiga sammanhang för de punkter som följer) som 0, eftersom det är ett känt resultat som har dykt upp på olika ställen i slumpmässig matristeori litteratur.
De icke-asymptotiska versionerna av de inställningar som beaktas i REF är nästan identiska med vår-till exempel, vår projektion modell i Avsnitt 3 är nästan identisk med modellen i Hastie et al. (2019, avsnitt 5.1)..............................................................................................
Surprises in High-Dimensional Ridgeless Least Squares Interpolation
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Computer Science', 'Mathematics']}