I en nyligen publicerad artikel (Proc. Natl. Vad är det? - Acad, vad gör du här? Sci., 110(36), 14557-14562), El Karoui m.fl. studera fördelningen av robusta regressionsestimat i det system där antalet parametrar p är i samma ordning som antalet prov n. Med hjälp av numeriska simuleringar och "mycket rimliga" heuristiska argument avslöjar de ett slående nytt fenomen. Nämligen innehåller regressionskoefficienterna en extra Gaussiansk bullerkomponent som inte förklaras av klassiska begrepp som Fisher-informationsmatrisen. Vi visar här att detta fenomen kan karakteriseras rigoröst med hjälp av tekniker som utvecklats av författarna för att analysera Lasso estimator under högdimensionell asymptotik. Vi introducerar en ungefärlig meddelande passerar (AMP) algoritm för att beräkna M-skattare och distribuera tillståndsutveckling för att utvärdera de operativa egenskaperna hos AMP och så även M-uppskattningar. Vår analys klargör att "extra Gaussian buller" stött på i detta problem är i grunden liknar fenomen som redan studerats för regulariserade minst kvadrater i inställningen n < p. Överväg den traditionella linjär regression modell med Y = (Y 1,. .., Y n ) T  till R n en vektor av svar, X  på R n×p en känd designmatris,  på 0 R p en vektor av parametrar, och W  till R n slumpmässiga buller som har noll medel komponenter W = (W 1,...., Y n ) ..,....................................... med fördelning F = F W med ändligt andra moment 1. Vi är intresserade av att uppskatta 0 från observerade data 2 (Y, X) med hjälp av en traditionell M-skattare, definierad av en icke-negativ konvex funktion ρ : R → R ≥0 : 2 Vi betecknar med X1,. .., Xn raderna av X. Vi utelämnar ofta argumenten Y, X eftersom detta beroende kommer att hålla hela. Utan förlust av allmängiltighet antar vi att kolumnerna i X normaliseras så att X ei 2  på 1. (Ett mer exakt antagande kommer att formuleras nedan.) Även om detta är ett helt traditionellt problem, anser vi att det är under högdimensionell asymptotik där antalet parametrar p och antalet observationer n båda tenderar till oändlighet, i samma takt. Detta håller på att bli en populär asymptotisk modell på grund av den moderna medvetenheten om "stora data" och "data översvämning", men också på grund av att det leder till helt nya fenomen. Den klassiska statistiska teorin beaktade den situation där antalet regressionsparametrar p är fast och antalet prov n tenderar till oändlighet. Den asymptotiska fördelningen befanns av Huber [Hub73, Bic75] vara normal N(0, V) där den asymptotiska variansmatrisen V ges av här  till = ρ är poängfunktionen för M-estimatorn och V ( ska, F ) = (  på 2 dF ) / ( på dF ) 2 den asymptotiska variansen funktion av [Hub64], och (X T X) den vanliga grammatrisen associerad med de minsta kvadrater problem. Viktigt var att man fann att för en effektiv uppskattning - d.v.s. Den minsta möjliga asymptotiska variansen -den optimala M-skattaren berodde på sannolikhetsfördelningen F W av felen W. Välja  på (x) = (log f W (x)) (med f W densiteten av W ), den asymptotiska variansen funktionella avkastningar V ( ska, F W ) = 1/I(F W ), med I(F ) som anger Fisher information. Detta uppnår den grundläggande gränsen för noggrannheten hos M-skattare [Hub73]. I modern statistisk praxis ökar intresset för tillämpningar där antalet förklarande variabler p är mycket stort och jämförbart med n. Exempel på detta nya system kan ges, som spänner över bioinformatik, maskininlärning, bildbehandling och signalbehandling (ett fåtal forskningsområden inom de sista områdena inkluderar [LDSP08, Sca97, Ric05, Cha03] ). Detta dokument tar hänsyn till egenskaperna hos M-skattare i den högdimensionella asymptotic n → ∞, n/p(n) → δ  ska (1, ❌) I denna regim, den asymptotiska fördelningen av M-skattare inte längre behöver följa den klassiska formel (3) i utbredd användning. Vi gör en slumpmässig design antagande på X: s beskrivs nedan. Vi visar att den asymptotiska kovariansmatrisen hos parametrarna nu är av den form där V fortfarande är Hubers asymptotiska variansfunktion, men som är den effektiva poängfunktionen, som skiljer sig från den under högdimensionella asymptotik ochF W är den effektiva felfördelningen, som skiljer sig från F W under högdimensionella asymptotiker. I gränsen δ → ❌, den effektiva poängen och den effektiva felfördelningen både tenderar till sina klassiska motsvarigheter, och man återhämtar den effektiva felfördelningenF W är en konvolution av bullerfördelningen med en extra Gaussian bullerkomponent, som inte ses i den klassiska inställningen (här betecknar konvolution): Den extra Gaussian buller beror på ett komplext sätt på F W, δ, som vi karakteriserar helt nedan i Corollary 4.2. Flera viktiga insikter följer omedelbart: 2 1. Befintliga formler är otillräckliga för förtroendeförklaringar om M-uppskattningar under högdimensionell asymptotik, och kommer att behöva breddas systematiskt. 2. Utgångspunkten är följande: Klassiska uppskattningar av maximal sannolikhet är ineffektiva under högdimensionella asymptotik. Tanken att dominera teoretisk statistik sedan R.A. Fisher att använda  och = (− log f W ) som en poängregel, ger inte den effektiva uppskattningen. 3. Vad är det som händer? Den vanliga Fisher Information bundna är inte nödvändigtvis uppnåelig i den högdimensionella asymptotic, som I( F W ) < I(F W ). M-skattning i denna högdimensionella asymptotiska miljö beaktades i en nyligen publicerad artikel av El Karoui, Bean, Bickel, Lim och Yu [EKBBL13], som studerade fördelningen av  på Gaussian designmatris X. Kort sagt observerade de empiriskt det grundläggande fenomenet för extra Gaussiskt brus som förekommer i högdimensionella asymptotiker och gör klassisk inferens felaktig. Beroendet av den ytterligare variansen τ 2 * på δ,  ska och F karakteriserades av [EKBBL13] genom en icke-rigorös heuristik 3 som författarna beskriver som "mycket rimlig och belastad av simuleringar". 4 (Vi hänvisar till avsnitt 5 för vidare diskussion om relaterade arbeten.) I detta dokument visar vi att detta viktiga statistiska fenomen kan karakteriseras rigoröst, på ett sätt som vi tänker fullt ut förklarar de viktigaste nya begreppen extra Gaussian buller, effektivt buller och den effektiva poäng. Vår proof strategi har tre steg • Introducera en Ungefärliga meddelande Passing (AMP) algoritm för M-skattning; en iterativ procedur med M-skattare som en fast punkt, och har den effektiva poäng funktion för sin poäng funktion vid algoritm konvergens. • Införa State Evolution för att beräkna egenskaper hos AMP algoritm iteration genom iteration. Vi visar att dessa beräkningar är exakta vid varje iteration i large-n gräns där vi fryser iteration nummer och låt n → ∞. I mitten av State Evolution beräkning är just en extra Gaussian bullerterm som spåras från iteration till iteration, och som visar sig konvergera till en icke-noll bullernivå. På detta sätt State Evolution gör mycket tydligt att AMP står inför varje iteration och även i gränsen, ett effektivt buller som skiljer sig från buller W genom tillägg av en märkbar extra oberoende Gaussian buller. • Visa att AMP-algoritmen konvergerar till lösningen av M-uppskattningen problem i medel kvadrat, från vilken det följer att den asymptotiska variansen av M-uppskattaren är identisk med den asymptotiska variansen av AMP-algoritmen. Mer specifikt, den asymptotiska variansen av M-uppskattaren ges av en formel som omfattar den effektiva poängfunktionen och det effektiva bullret. 3 För läsaren bekant med den matematiska teorin av spinnglasögon, argumentet av [EKBBL13] visas analog till hålighetsmetoden från statistisk fysik [MPV87, MM09, Tal10] 4 Efter den första versionen av vårt manuskript postades på ArXiv, Noureddine El Karoui meddelade ett oberoende bevis på relaterade resultat, med hjälp av en helt annan metod. Som det visar sig, vår formel för den asymptotiska variansen sammanfaller med en härledd heuristically i [EKBBL13, Corollary 1] även om vår teknik är anmärkningsvärt annorlunda, och vårt bevis ger en mycket tydlig förståelse av den operativa betydelsen av termerna som visas i den asymptotic variansen. Det möjliggör också explicit beräkning av många andra operativa egenskaper hos M-uppskattaren, till exempel när den används som en yttre detektor 5. I hjärtat av vår analys tillämpar vi helt enkelt ett tillvägagångssätt utvecklat i [BM11, BM12] för rigorös analys av lösningar för att konvexa optimeringsproblem under högdimensionella asymptotik. Detta tillvägagångssätt växte fram ur en rad tidigare uppsatser som studerade problemet med komprimerad avkänning [DMM09, DMM11, DJMM11, BM12]. Ur detta dokuments perspektiv betraktade dessa dokument samma regressionsmodell (1) som här, men de betonade den utmanande asymptotiska regimen där det finns färre observationer än prediktorer (dvs. n/p(n) → δ  till (0, 1)) så att även i det ljudlösa fallet skulle ekvationerna Y = X på ett underbestämt sätt. I p > n inställning, blev det populärt att använda 1 -penalized minst kvadrater (Lasso, [Tib96, CD95] ). Denna serie av papper ansåg Lasso convex optimering problem i fallet med X med iid N(0, 1/n) poster (precis som här) och följde samma 3-stegsstrategi vi använder här; nämligen, 1. Införande av en AMP-algoritm; 2. Få den asymptotiska fördelningen av AMP genom State Evolution; och 3. Visar att AMP håller med Lasso-lösningen i stor-n gräns. Detta förfarande visade att Lasso-lösningen har den asymptotiska fördelningen där σ 2 är variansen av buller i mätningarna, och τ 2 Lasso är variansen av en extra Gaussian brus, inte visas i den klassiska inställningen där p(n)/n → 0. Variansen av denna extra Gaussian buller erhölls genom tillståndsutveckling och visade sig bero på fördelningen av de koefficienter som återvinns, och på bullernivån på ett till synes komplicerat sätt som kan karakteriseras av en fast punkt förhållande, se [DMM11, BM12]. I mitten av den rigorösa analysen står tidningarna [BM11, BM12] som analyserar upprepningar av den typ som används av AMP och fastställer giltigheten av State Evolution i betydande allmänhet. Samma papper står i centrum för vår analys. Bortsett från att tillåta en enkel behandling, ger detta en enhetlig förståelse för fenomenet med högdimensionella extra Gaussian buller. I detta dokument introduceras en ny första ordningens algoritm för beräkning av M-skattaren som är unikt lämplig för slumpmässig design. Denna algoritm passar in i klassen ungefärliga meddelandepassagealgoritmer (AMP) som introduceras i [DMM09, BM11] (se även [Ran11] för förlängningar). Denna algoritm är av oberoende intresse på grund av sin låga beräknings komplexitet. AMP har en vilseledande enkelhet. Som ett iterativt förfarande för konvex optimering ser det nästan samma ut som "standard" tillämpning av enkel fast stegstorlek gradering. Det är dock 5 Den något mer allmänna [EKBBL13, Resultat 1] täcker heteroscedastic buller omfattas inte av analysen av detta papper, men bör bevisas genom att anpassa vårt argument. 4 avsedd att användas i slumpmässig design, och det har en extra minnesterm (även reaktionsterm) som ändrar iterationen på ett djupgående och fördelaktigt sätt. I Lasso-miljön har AMP-algoritmer visat sig ha anmärkningsvärda snabba konvergensegenskaper [DMM09], långt bättre än mer komplexa iterationer som Nesterov och FISTA. I detta papper, AMP har en andra viktig rynk -it löser ett konvex optimeringsproblem i samband med minimering ρ med iterationer baserat på lutning nedstigning med en objektiv ρ bt som varierar från en iteration till nästa, som b t förändringar, men som inte tenderar att ρ i gränsen. I detta dokument används AMP främst som ett bevis, en del av den tredelade strategi som skisserats tidigare. En viktig fördel som skapas av de egendomliga egenskaperna hos AMP är dock stark heuristisk insikt, som inte skulle vara tillgänglig för en "standard" gradient-descent algoritm. AMP-proof-strategin gör det extra Gaussiska bruset synligt i M-estimatorn. Elementära överväganden visar att sådant extra buller förekommer vid iteration noll av AMP. State Evolution följer troget dynamiken i detta extra buller över iterationer. State Evolution bevisar att den extra bullernivån inte går till noll asymptotiskt med ökande iterationer, utan istället att den extra bullernivån tenderar till ett fast nonnollvärde. Eftersom AMP löser M-skattningsproblemet, måste M-skattaren vara infekterad av detta extra buller. AMP-algoritmen och dess analys av State Evolution visar att det extra bruset i parametern  på iteration t beror på korsparameterskattning av bullerläckage, där fel i uppskattningen av alla andra parametrar vid den tidigare iterationen (t − 1) orsakar extra buller som visas i  till t i. I den klassiska miljön syns ingen sådan effekt. Man kan säga att det centrala faktum om den högdimensionella inställning som avslöjas här liksom i vårt tidigare arbete [DMM09, DMM11, DJMM11, BM12], är att när det finns så många parametrar att uppskatta, kan man egentligen inte isolera uppskattningen av någon parameter från felen i uppskattningen av alla de andra parametrarna. 2 Ungefärliga meddelande Passing (AMP) För resten av papperet gör vi följande smidighet antagande om ρ: Definition 2.1. Vi kallar förlustfunktion ρ : R → R jämn om det är kontinuerligt differentiable, med absolut kontinuerlig derivata  till = ρ har en a.e. Derivat som är avgränsat: sup u.R. (u) < ∞. Vårt antagande utesluter några intressanta fall, såsom ρ(u) =  till exempel Huber förlust 6 associerat till ρ, introducerar vi familjen ρ b av legaliseringar av ρ: 6 Vi förväntar oss att den bevisteknik som utvecklats i detta dokument bör vara generaliserade till en bredare klass av funktioner ρ, på bekostnad av ytterligare tekniska komplikationer. 5 i ord, detta är min-konvolution av den ursprungliga förlusten med en kvadrat förlust. Varje ρ b har en motsvarande poängfunktion Den effektiva poängen för M-uppskattaren tillhör denna familj, för ett visst val av b, förklaras nedan. I den klassiska M-skattningslitteraturen [HR09] är monotonitet och differentibilitet av poängfunktionen  på många sätt användbar; våra antaganden om ρ garanterar dessa egenskaper för den nominella poängfunktionen. Poäng familjen  på ( · ; b) har sådana egenskaper också: för alla b,  på ( · · ; b) är en strikt monoton ökande funktion; andra, för alla b > 0,  på ( · ; b) är en sammandragning. När vi anger differentiering med avseende på den första variabeln, har vi  till (z; b) 0, 1). För bevis och vidare diskussion, se bilaga A. Innan vi går vidare ger vi ett exempel. Betrakta Huberförlusten ρ H (z; λ), med poängfunktion (z; λ) = min (max(−λ, z), λ). Vi har I synnerhet formen av varje  på liknar  på samma sätt, men lutningen av den centrala delen är nu  och (Vår föreslagna ungefärliga meddelande passerar (AMP) algoritm för optimering problem (2) är iterativ, börjar vid iteration 0 med en första uppskattning 0  på R p. Vid iteration t = 0, 1, 2,.... det tillämpar ett enkelt förfarande för att uppdatera sin uppskattning  på R p, producerar  på t+1. Förfarandet omfattar tre steg. Justerade restprodukter. Med hjälp av den aktuella uppskattningen (t) beräknar vi vektorn för justerade restvärden var till de vanliga resterna Y − X  och här lägger vi till den extra termen 7 (R t‐1 ; b t‐1 ). Effektiv poäng. Vi väljer en skalar b t > 0, så att den effektiva poängen  till ( · ; b t ) har empirisk genomsnittlig lutning p/n  till (0, 1). Ställa in δ = δ(n) = n/p > 1, tar vi vilken lösning som helst 8 (t.ex. den minsta lösningen) till 9 : 7 Här och nedan, givet f : 8 Denna ekvation medger alltid minst en lösning sedan b →  till (r; b) är kontinuerlig i b ≥ 0, med (r; 0) = 0 och (för ρ strikt konvex) (r; ❌) = 1, cf. Förslag A.1. 9 Enligt detta recept beror sekvensen bt på instansen (Y, X). Som förklaras i nästa avsnitt, för bevis på vårt huvudsakliga resultat kommer vi att använda ett något annorlunda recept, som är oberoende av problemet instans. -Skickat. Vi tillämpar den effektiva poäng funktion  till (R t ; b t ): Scoring steg av AMP iteration (11) liknar traditionella iterativa metoder för Mestimering, jämför [Bic75]. I själva verket, med hjälp av den traditionella rest z t = Y − X på t, den traditionella metoden för poängsättning vid iteration t skulle läsa och man kan se korrespondenser av enskilda termer till den metod för poängsättning som används i AMP. Naturligtvis den traditionella termen [ (10)), medan den traditionella termen (X T X) −1 motsvarar AMP implicita I p×p -som är lämplig i det nuvarande sammanhanget eftersom vår slumpmässiga-design antagande nedan gör X T X beter sig ungefär som identitetsmatrisen. Nästa lemma förklarar anledningen till att använda den effektiva värderingen (·; b t ) i AMP algoritmen: detta är vad ansluter AMP iteration till M-uppskattning (2). Det här är Lemma 2.2. Låta ( *, R *, b * ) vara en fast punkt i AMP iteration (9), (10), (11) med b * > 0. Då är * en minimerare av problemet (2). Viceversa, eventuella minimering  på * av problemet (2) motsvarar en (eller fler) AMP fasta punkter i formuläret (  på * *, R *, b * ). Bevis. Genom att differentiera Eq. (2) och utelämna argumenten Y, X för enkelhet från L( ska; Y, X), vi får där som vanligt ρ tillämpas komponent-wise för vektor argument. Minimeringarna av L( på) är alla de vektorer som den högra sidan försvinner för. Överväg då en fast punkt (  på *, R *, b * ), av AMP iteration (9), (11). Detta uppfyller ekvationerna Den första ekvationen kan skrivas som Använda Proposition A.2 nedan, (16) innebär att  till (R * ; b * ) = b * ρ (Y − X  till * ). Därför lyder den andra ekvationen som sammanfaller med stationaritetens tillstånd (13) för b * > 0. Detta avslutar beviset.  För att göra AMP-algoritmen konkret, överväger vi ett exempel med n = 1000, p = 200, så δ = 5. För designmatrisen låter vi X i,j N(0, 1 n ), och vi ritar 0 en slumpmässig vektor av norm 0 2 = 6 ε p. För fördelningen F = F W av fel, använder vi Hubers kontaminerade normalfördelning CN(0.05, 10), så att F = 0.95ņ + 0.05H 10, där H x betecknar en enhet atom vid x. För förlustfunktionen använder vi Huber's ρ H (z; λ) med λ = 3. Starta AMP-algoritmen med 0 = 0, kör vi 20 iterationer. Vi löste problemet med M-skattning genom att använda CVX för att få tag på dem. Figur 1 (vänster panel) visar utvecklingen av AMP algoritm över iterationer, presenterar medan figur 1 (höger panel) visar framstegen för AMP i att närma sig M-uppskattningen, mätt med Som är uppenbart, Iterationer konvergerar snabbt, och de konvergerar till M-uppskattaren, både i betydelsen av konvergens av risker - mätt här av RMSE (  och t ;  på 0 ) → RMSE (  och 0 )  och mer direkt, i konvergens av uppskattningarna själva: RMSE (  och t ; ), → → 0. Figur 2 (vänster panel) visar den process genom vilken den effektiva poängparametern b t erhålls vid iteration t = 3, medan den högra panelen visar hur b t beter sig över iterationer. I själva verket konvergerar den snabbt mot en gräns b ❌  på 0,2710. Tidigare pekade vi på likheter mellan AMP (11) och den traditionella metoden för poängsättning för att erhålla M-skattare (12). I själva verket är de två tillvägagångssätten mycket olika: • Den exakta formen av olika termer i (9), (10) (11) dikteras av de statistiska antaganden som vi gör om utformningen X. I synnerhet minnestermer är avgörande för staten evolution analys att hålla. Flera dokument dokumenterar denna punkt [Mon12, Sch10, SSS10, Ran11, KMZ13]. • Under klassiska asymptotik, där p är fast och n → ∞, är det tillräckligt att köra ett enda steg av en sådan algoritm [Bic75], i den högdimensionella inställningen är det nödvändigt att iterera många gånger. Den resulterande analysen är betydligt mer komplex på grund av korrelationer som uppstår när algoritmen utvecklas. 3 Statens utveckling beskrivning av AMP State Evolution är en metod för att beräkna de operativa egenskaperna hos AMP iteraterna  på t och R t för godtycklig fast t, under den högdimensionella asymptotiska gränsen n, p → ∞, n/p → δ. I detta avsnitt beskriver vi initialt ett rent formellt förfarande som förutsätter att den AMP-justerade resterna R t = Y − X  på t + (R t ; b t ) verkligen beter sig som W + τ t Z, med W felfördelningen och Z en oberoende standard normal, för t = 0, 1, 2,...... en för att beräkna τ 2 t för varje t = 0, 1, 2, 3,...., och för att beräkna gränsen för τ t som t → ❌. Senare i avsnittet presenterar vi ett rigoröst resultat som validerar metoden under följande slumpmässiga Gaussiska konstruktion antagande. I punkt 3.1 ska andra meningen ersättas med följande: Vi säger att en sekvens av slumpmässiga designmatriser {X(n)} n, med n → ❌ är en Gaussisk design om varje X = X(n) har dimensioner n × p, och poster (X ij ) i[n],j till [p] som är i.i.d. N(0, 1/n). Dessutom är p = p(n) sådan att lim n→∞ n/p(n) = δ  på (0, ∞). Under Gaussian design antagande, anta att u är en vektor i R p med norm u 2. Därefter (E Xu 2 2 } = u 2 2. Dessutom Xu är en Gaussian slumpmässig vektor med poster iid N(0, u 2 /n). Det kommer att vara bekvämt att införa för någon uppskattning av notation Så initialisera AMP med en deterministisk uppskattning 0, och ta R −1 = 0. Därefter är den initiala residualen R 1 = Y − X  på 0 = W + X( på 0 − på 0 ). Termerna W och X(- 0 − - 0 ) är oberoende, och X(- 0 − - 0 ) är Gaussian med varians Därför, när AMP startas på detta sätt, ser vi att de justerade resterna initialt innehåller en extra Gaussian brus av variansen τ 2 0 = MSE( -0, - 0 )/δ. Om de justerade resterna fortsätter, vid senare iterationer, att bete sig som W + τ t Z med Z en oberoende standard normal, vi nu beräkna τ 2 t för varje t = 1, 2, 3,...., och slutligen identifiera gränsen för τ t som t → ∞. För en given τ > 0, δ = n/p och bullerfördelning F W, definiera varianskartan där W  till F W, och, självständigt, Z  till N(0, 1). I denna display, läsaren kan se att extra Gaussian brus av varians τ 2 läggs till den underliggande buller W, och V mäter den δ-skalade variansen av den resulterande utgången. Uppenbarligen för Enligt våra antaganden för  ska, för varje given specifikation (τ ; δ, F W ) av ingredienserna förutom b som går in i V, det finns (enligt förtydligande av Lemma A.3) ett väldefinierat värde b = b (τ ; δ, F W ) vilket ger den minsta lösningen b ≥ 0 till Definition 3.2. State Evolution is an iterative process for computing the scalars {τ 2 t } t på0, med början från ett initialt tillstånd τ 2 0  på R ≥0 efter att definering av (τ 2 ) = V(τ 2, b (τ )), ser vi att utvecklingen av τ t följer iterationer av kartan. I synnerhet gör vi dessa observationer: • till (τ 2 ) är en kontinuerlig, icke-decreasing funktion av τ. • ska (τ 2 ) < τ 2 som τ → ∞. Figur 3, vänster panel, anser att fallet där W återigen följer Hubers kontaminerade normala distribution CN(0.05, 10) och  till är standard Huber uppskattning med parameter λ = 3. Förhållandet n/p = δ = 2, och parametervektorn har 0 2 2 /p = 6 2. Det visar funktionen på (τ 2 ) som en funktion av τ. Tydligen finns det en stabil fast punkt τ * = τ * (σ, F W ), d.v.s. En punkt som lyder (τ 2 * ) = τ 2 *, sådan att τ 2 → till (τ 2 ) har ett derivat mindre än 1 vid τ 2 *. Vi drar slutsatsen att τ t utvecklas under statens utveckling till en icke-noll gräns. Figur 3, höger panel, visar hur τ 2 t utvecklas till den fasta punkten nära 0.472 med början från τ 2 0 = 2.056. State Evolution erbjuder en formell 10 förfarande för att förutsäga operativa egenskaper av AMP iteration vid någon fast iteration t eller i gränsen t → ∞. Nater i detta avsnitt, kommer vi att ge rigorös validering av dessa förutsägelser. 10 Med formell menar vi ett regelbaserat förfarande som vi kan följa för att få en förutsägelse, utan några garantier för att förutsägelsen är korrekt. Kalla tuple S = (τ ; b, δ, F) ett tillstånd; när vi kör AMP-algoritmen antar vi att algoritmen är initierad med  och 0 så att τ 2 0 = MSE(  på 0, på 0 ), så att AMP börjar i tillstånd S = (τ 0 ; b 0, δ, F ), och besök S 1 = (τ 1 ; b 1, δ, F ), S 2 = (τ 2 ; b 2, δ, F ),. .. ; slutligen AMP besök stater godtyckligt nära jämviktstillståndet S * = (τ * ; b *, δ, F ). SE förutsägelser om driftegenskaper tillhandahålls genom två regler som ger förutsägelser till vissa klasser av observerbara, baserat på det tillstånd som god tillverkningssed befinner sig i. Om det rör sig om ett fordon som är utrustat med en anordning som är konstruerad eller modifierad för att användas på ett sådant sätt att den är konstruerad för att uppfylla kraven i dessa föreskrifter, ska denna anordning vara konstruerad så att den är konstruerad så att den överensstämmer med kraven i dessa föreskrifter. Statens evolutionsformalism tilldelar förutsägelser E till två typer av observerbara under specifika stater. Observables Involving. − 0......................................................................... Med tanke på en oföränderlig testfunktion: R → R, tilldela det förutsagda värdet för p −1 i skap ( i −  på 0,i ) under tillstånd S enligt regeln där förväntan på höger sida är med avseende på Z  på N(0,1). Observationsobjekt som involverar Restual, Fel. Låt R betecknar en del koordinat av den justerade restvärdet för AMP i tillstånd S och W samma koordinat av det underliggande felet. Med tanke på en bivariat testfunktion 2 : R 2 → R, tilldela förutsägelsen om var Z  till N( 0, 1) och W  på F W är oberoende av Z. De två viktigaste förutsägelserna av operativa egenskaper är utan tvekan: • MSE vid iteration t. Vi låter S t = (τ t, b (τ t ), δ, F W ) betecknar tillståndet för AMP vid iteration t, och förutsäga • MSE vid konvergens. Med τ * > 0 gränsen för τ t, låt S * = (τ *, b (τ * ), δ, F W ) betecknar tillståndet för AMP vid konvergens. och förutsäga Andra förutsägelser kan också vara av intresse. När det gäller medelvärdet för det absoluta felet MAE(  ska t,  och 0 ) =  och t − 0 1 /p, förutsäger tillståndsutvecklingen MAE  och 2στ 2 t /π. När det gäller funktioner (R, W ), ta hänsyn till de vanliga resterna av Y-X-* vid AMP-konvergens. Dessa restprodukter kommer naturligtvis i allmänhet inte att ha fördelningen av felen W. Ställa in η(z; b) = z −  till (z; b), vi har Y − X  till * = η(R; b * ). Statens utveckling förutsäger att de vanliga resterna kommer att ha samma fördelning som η(W +τ * Z; b * ). Fortsätta med vårt kör exempel, vi återigen överväga fallet med förorenade normala data W  på CN(0.05, 10) och Huber ρ med λ = 3. Om vi börjar AMP med den all-noll uppskattningen 0 = 0, sedan 0 2 = 6 ε p vi börjar SE med τ 0 = 2.056. Återigen i vårt löpande exempel kan dessa förutsägelser testas empiriskt. För illustrationen utförde vi ett mycket litet experiment som genererade 10 oberoende insikter om körmodellen på n = 1000 och p = 200, och jämförde de faktiska evolutionerna av observerbara under AMP iterationer med de förutsagda evolutionerna. Figur 5 visar att prognoserna från SE ligger mycket nära genomsnitten över realiserade värden. State Evolution kan inte utvecklas så att τ 2 t → 0; under minimal regelbundenhet, det alltid överstiger en specifik icke-noll bullernivå. Lemma 3.4. Antag att F W har en väldefinierad Fisher information I(F W ). Sedan för varje t > 0. δ och, om G betecknar poängen funktion för platsen för G, sedan.  Från konvexitet och översättning-invarians av Fisher Information Vi kan skärpa detta bundna ett steg längre. Det kommer att vara bekvämt att skriva I(X) för Fisher information om distribution F X. Lemma 3.5. Bevis. Barron och Madiman [MB07] ger ojämlikheten I(W + τ Z) ≤ x 2 I(W ) + (1 − x) 2 I(τ Z), giltig för alla x  till (0, 1). Med kalkyl vet vi att för a, b > 0, Ställa in a = I(W ) och b = I(τ Z) = τ −2, och dividera både täljare och nämnare med b, vi är klara. Besök argumentet i Lemma 3.4; ojämlikheten τ 2 t ≥ 1/(δI(F W )) visar att om t > 0, sedan τ 2 t I(W ) ≥ 1/δ. Med hjälp av detta i föregående Lemma, Detta ger en "ett steg" förbättring: Corollary 3.6. Antag att F W har en väldefinierad Fisher Information I(F W ). Sedan för någon t > 1 Vi kan iterera detta argument över många steg, få att, för varje t > k, Vi får omedelbart: Corollary 3.7. Antag att F W har en väldefinierad Fisher information I(F W ). Sedan för varje ackumulation punkt τ * av State Evolution. Prognoserna för tillståndsutvecklingen kan valideras i den stora systemgränsen n, p → ∞, under det slumpmässiga Gaussiska antagandet av definition 3.1. Vi inför regelbundenhet villkor på observerbara vars beteende vi försöker förutsäga: I synnerhet,  till (x) = x 2 är pseudo-Lipschitz. Kom också ihåg definitionen av MSE i ekvation (18). För en sekvens av estimatorer, definiera den per-koordinat asymptotiska medelvärdet kvadratfel (AMSE) som följande stora system gräns: när den angivna gränsen finns. Följande resultat validerar förutsägelserna av State Evolution för pseudo-Lipschitz observerbara. Vårt bevis skjuts upp till bilaga B. Teorem 3.9. Antag att förlustfunktionen ρ är konvex och smidig, att sekvensen av matriser {X(n)} n är en standard Gaussian design, och att  på 0, 0 är deterministiska sekvenser sådan att AMSE( ). Vidare anta att F W har ändligt andra ögonblick och låt {τ 2 t} t på 0 vara tillståndet evolutionssekvens med initialt tillstånd τ 2 0. Låt {... t, R t } t på 0 vara AMP-bana med parametrar b t som per ekv. (19). - (EN) Herr ordförande! Låta R → R, 2 : R × R → R vara pseudo-Lipschitz funktioner. Sedan, för alla t > 0, vi har, för I synnerhet, kan vi ta  på x = x 2 och få för AMP iteration i full överensstämmelse med förutsägelserna om tillståndsutveckling i definition 3.3. Det viktigaste steget för att karakterisera fördelningen av M-uppskattaren, se. Eq. Vad är det? (2) är att bevisa att den AMP iterera t konvergera till  på. Vi kommer att bevisa att detta verkligen är fallet, åtminstone i gräns n, p → ∞, och för lämpliga inledande villkor 11. Under hela detta avsnitt kommer vi att anta att ρ är starkt konvex, d.v.s. som inf x och R ρ (x) > 0. Detta motsvarar antagandet inf x tillR (x) > 0, vilket är ganska naturligt ur synvinkeln robust statistik eftersom det garanterar unikhet M uppskattningen 12. Det viktigaste steget är att fastställa följande högdimensionella konvergensresultat. 11 Vi förväntar oss konvergens för godtyckliga inledande villkor (så länge de är oberoende av (W, X)), men bevisa detta påstående inte behövs för vårt huvudsakliga mål, och vi lämnar det för framtida studier. Bevisning av detta påstående skulle kräva att man visade konvergens i den statliga utvecklingens rekursion (20). 12 Huberskattaren omfattas inte av resultatet av detta avsnitt, även om vi förväntar oss att vår strategi ska tillämpas i en sådan allmänhet. Vi fokuserar här på det starkt konvexa fallet för att undvika onödiga komplikationer. Teorin 4.1. (Konvergens av AMP till M-Estimator.) Anta samma inställning som i Theorem 3.9, och vidare anta att ρ är starkt konvex och att δ > 1. Låta (τ *, b * ) vara en lösning av de två ekvationerna och anta att AMSE ( 0, 0 ) = δτ 2 *. Sedan Från detta och Theorem 3.9, den önskade karakteriseringen av  och omedelbart följer. För att knyta tillbaka till introduktionen, vi bevisa formel (4): Corollary 4.2. (Asymptotic Variance Formula under High-Dimensional Asymptotics.) Anta att inställningen av Theorem 3.9, och vidare anta att ρ är starkt konvex och δ > 1. Den asymptotiska variansen av  ska lyda lim n,p→ inrättningarna där Ave i till[p] betecknar medelvärdet mellan index i, V ( på, F ) betecknar den vanliga Huber asymptotic varians formel för M-skattningar - V ( på, F ) = ( på 2 dF ) / (  på dF ) 2 -och den effektiva poängen är medan den effektiva bullerfördelningenF ärF Här (τ *, b * ) är de unika lösningarna av ekvationerna (24)-(25). Bevis. Genom symmetri, Ave i ska [p] Var(  ska i ) = EMSE(  och 0 ). Teorem 4.1 och State Evolution visar att AMSE (  och 0 ) = δτ 2 *. Av (24)- (25) V Kom ihåg att den traditionella informationen som är bunden till M-skattare är V ( ska, F ) ≥ 1 I(F W ), och att detta är möjligt under p fast, n → ❌ asymptotics. Med tanke på formeln förF ser vi att eftersom τ * > 0, är en sådan asymptotisk varians inte uppnåelig under högdimensionell asymptotik. Vi gör nu denna effekt mer synlig. Kombinera Corollary 4.2 med Corollary 3.7: s nedre gräns på jämviktsbuller τ * nås av State Evolution, vi har följande.. I denna ojämlikhet är effekten av den högdimensionella asymptotikparametern δ mycket tydlig; den visar att den klassiska informationen som är bunden inte är uppnåelig när δ = n/p < ∞, Det finns alltid en inflation i varians åtminstone genom (1 − 1/δ) −1 = n-p. Dessutom exploderar inflationen helt och hållet som δ → 1. Sammanhangar 4.4. Anta att inställningen av Theorem 3.9, och vidare anta att ρ är starkt konvex och δ > 1. Sedan för alla pseudo-Lipschitz funktion  på: R → R, vi har, för Z  till N( 0, 1) I synnerhet, lösningen av Eqs. (24), (25) är nödvändigtvis unik. Bland andra tillämpningar, kan detta resultat användas för att binda suboptimalitet av AMP efter ett fast antal iterationer. Kombination av teorierna 3.9 och 4.1 ger: Corollary 4.5. Anta samma inställning som i Theorem 3.9, och vidare anta att ρ är starkt konvex och δ > 1. Sedan de nästan säkra gränserna AMSE (... t ; 0 ) och AMSE (...; 0 ) finns, och lyda Theorem 4.1 sträcker sig till att täcka allmänna Gaussian matriser X med i.i.d. Rader. Derivat – Säkringsredovisning, säkringsredovisning, säkringsredovisning, säkringsredovisning, säkringsredovisning, säkringsredovisning, säkringsredovisning, säkringsredovisning, säkringsredovisning, säkringsredovisning, säkringsredovisning, säkringsredovisning, säkringsredovisning, säkringsredovisning, säkringsredovisning, säkringsredovisning, säkringsredovisning, säkringsredovisning, säkringsredovisning, säkringsredovisning, säkringsredovisning, säkringsredovisning, säkringsredovisning, säkringsredovisning, säkringsredovisning, säkringsredovisning, säkringsredovisning, säkringsredovisning, säkringsredovisning, säkringsredovisning, säkringsredovisning, säkringsredovisning, säkringsredovisning, säkringsredovisning, säkringsredovisning, säkringsredovisning, säkringsredovisning, säkringsredovisning och säkringsredovisning. Vi säger att en sekvens av slumpmässiga designmatriser {X(n)} n, med n → ∞, är en allmän Gaussisk design om varje X = X(n) har dimensioner n × p, och rader (X i ) i [n] som är i.i.d. N(0,  på/n), där  på =  på (n)  på R p×p är en strikt positiv bestämd matris. Dessutom är p = p(n) sådan att lim n→∞ n/p(n) = δ  på (0, ∞). Lägg märke till att om X är en allmän Gaussisk design, då X ska −1/2 är en vanlig Gaussisk design. Följande följer sedan från Corollary 4.7 tillsammans med en enkel förändring av variabler argument, se. [EKBBL13, Lemma 1]. Sammanfallande 4.7. Anta att samma inställning som i Theorem 3.9, men med {X(n)} n på 0 är en allmän Gaussisk design med kovarians, och vidare anta att ρ är starkt konvex och δ > 1. Det finns en skalar slumpmässig variabel T n så att där Z N(0, I p×p ) och vi har den nästan-sur gräns lim n→∞ T n = a.s. τ *, där τ * löser Eqs. (24), (25). Detta resultat sammanfaller med korollary 1 i [EKBBL13] bortsett från en faktor ε n i den slumpmässiga delen av Eq. (30) som uppstår på grund av en skillnad i normalisering av X. Flera generaliseringar av den nuvarande bevistekniken bör vara möjliga, och skulle vara av intresse. Vi listar några i storleksordningen ökande svårigheter: 19 1. Generalisera i.i.d. Gaussiska rader modell för X genom att tillåta olika rader att skalas slumpmässigt kopior av en gemensam X  på N(0,  på / n). Detta är inställningen av [EKBBL13, Resultat 1]. 2. Utgångspunkten är följande: Avlägsna smidighet och starka konvexitet antaganden om ρ. 3. Vad är det som händer? Lägg till en legaliseringsbegrepp till den objektiva funktionen L( ska) cf. Eq. Vad är det? (2) i formuläret p i=1 J( ska i ), med J : R → R en konvex påföljd. För 1 påföljd och 2 förlust, minskar detta till Lasso, studeras i [BM12]. 4. Vad är det som händer? Generalisera de nuvarande resultaten till icke-gaussiska mönster. Vi förväntar oss - till exempel - att de ska hålla universellt över matriser X med i.i.d. Poster (under lämpliga förhållanden). Ett liknande universalitetsresultat fastställdes i [BLM12] för komprimerad avkänning. Låt oss nämna att alternativa bevistekniker också skulle vara värda att undersöka. I synnerhet Shcherbina och Tirozzi [ST03] definiera en statistisk mekanik modell med energifunktion som är jämförbar med förlusten L( ska), cf. Eq. Vad är det? (2) och Talagrand [tal10, kapitel 3] visar ytterligare resultat enligt samma modell. Medan denna behandling fokuserar på att uppskatta en viss partition funktion, i fallet med starkt konvexa ρ bör det vara möjligt att extrahera egenskaper av minimeraren från en "noll temperatur" gräns. Slutligen överväger Rangan [Ran11] en liknande regressionsmodell som den som studeras här med hjälp av ungefärliga meddelande passerar algoritmer, om än från Bayesian synvinkel. Läsaren kan ha märkt många analogier mellan analysen på de sista sidorna och tidigare arbete på uppskattning i det underbestämda systemet n < p med hjälp av Lasso [DMM09, DMM11, DJMM11, BM12]. Mest specifikt är det centrala verktyget i vårt bevis på riktigheten av State Evolution en uppsättning lemmas och teorem om analys av rekursiva system som utvecklats för att förstå Lasso. Att samma maskiner direkt ger en robust regression – se till exempel vårt bevis på riktigheten i State Evolution i bilaga B nedan – verkar särskilt oväntat. I detta avsnitt påpekar vi kort att de två problemen är så nära förbundna att fenomen som förekommer i den ena situationen kommer att dyka upp i den andra. I en mycket stark mening, lösa en M-skattning problem med p < n är precis samma sak som att lösa en relaterad bestraffad regressionsproblem inp >ñ. Med tanke på en konvex funktion J : R → R, definiera ρ funktionen Vi har sedan M-Estimation problem Detta problem har p < n och är generiskt ett bestämt problem. Vi konstruerar nu ett motsvarande underbestämt problem med "samma" lösning. Setñ = n − p,p = n. Vi kommer snart att 20 konstruera en vektor / matris par ( Y  med Rñ, X med Rñ ×p ) lydingñ <p, där Y och X är relaterade till Y och X på ett specifikt sätt. Med detta par poserar vi J-penalized minst kvadrater problem med lösning β( Y ; X), säger. Här är den specifika par som länkar (M J ) med (L J ). Vi låter X vara en matris med ortonormala rader så att XX = 0, dvs. Slutligen ställer vi in Y = XY. Av särskilt intresse är det fall som J(x) = λ  påx på vilket fall (L J ) av  (33) definierar Lasso-skattaren. Därefter är ρ J (x) = ρ H (x; λ) Huberförlusten och (M J ) av (32) definierar Huber M-uppskattningen. I så fall (L J ) är mer klassiskt presenteras som medan (M J ) är mer klassiskt presenteras som (Huber λ ) min I detta speciella fall, vårt allmänna resultat från nästa avsnitt innebär följande: Förslag 6.1. Med problemfall (Y, X) och (Y, X) relaterade som ovan, de optimala värdena av Lasso problemet (Lasso λ ) och Huber problemet (Huber λ ) är identiska. Lösningarna på de två problemen är i ett förhållande. I synnerhet har vi I en mening Lasso problemlösning β är att hitta avvikelser i Y ; när lösningen är känd, lösningen av M-skattning problemet är helt enkelt en minst kvadrat regression på justerade data Y adj  och (Y − β) med avvikelser bort. Vi kommer nu att visa att problemet (32) är dubbelt till (33) under eller särskilt val av (Y, X), via (34). Anmärkning. För x  till R n, vi betecknar med ∂ρ(x) subgradienten av konvex funktion n i=1 ρ(x i ), x. Analogt, för z  på Rp, vi betecknar med ∂J(z) subgradienten av konvex funktion p i=1 J(z i ), på z. Förslag 6.2. Antag att ρ( · ) = ρ J ( · ), att X har ortonormala rader med null( X) = image( X), och slutligen att Y = X Y. Då lösningarna av den regulariserade minst kvadrat problem (33) är i en-till-en korrespondens med lösningarna av den robust regressionsproblem (2) via kartläggningar Bevis. "Diverentierande" Eq. (31) Det är lätt att se att u  på (x) om och endast om u (x − u). För det första antar  på är en minimerare av problem (32). Detta händer om och endast om det finns u  på R n sådan att Vi sedan hävdar att β  på Y - X  på - u är en minimering av Eq. (33). I själva verket var den sista identiteten följer sedan, av Eq. (34), null(X T ) = image( X T ), och därmed u  på bilden( X T ) av Eq. (41) Detta beslut riktar sig till medlemsstaterna. Använder igen Eqs. (41) och (40), drar vi slutsatsen att u  på J ( β), d.v.s. vilket är stationaritetsförutsättningen för problemet (33). Vikversa ett liknande argument visar att, med tanke på β som minimerar Eq. (33) och (X T X) −1 X T (Y − β) minimerar det robusta regressionsproblemet (32). Det sista avsnittet tar upp möjligheten att de fenomen som finns i detta dokument för M-skattning i p < n-fallet faktiskt är isomorfa för dem som finns i vårt tidigare arbete om bestraffad regression i p > n-fallet; [DMM09, DMM11, DJMM11, BM12]. Här nöjer vi oss bara med att skissera några likheter. För att vara definitiv, överväga robust regression med hjälp av Huber-förlusten [Hub64, HR09] ρ(x) = x 2 /2 för  och x ≤ λ och ρ(x) = λ på annat sätt. I detta fall är det lätt att se att för att komma i kontakt med Lasso, erinra om definitionen av mjuk tröskel operatör η(x; α) = skylt(x) ( skax) − α) +. Vi har relationen 22 Letting ct T / (1 + b t ), tillståndsutvecklingsekvationen (20), sedan läser Detta är mycket nära staten evolutionsekvationen i komprimerad avkänning för att rekonstruera en gles signal vars poster har fördelning F W, från ett underbestämt antal linjära mätningar; faktiskt i den inställningen har vi tillståndsutvecklingen rekursion [DMM09, DMM11, DJMM11, BM12]. Anslutningen är ganska suggestiv: medan vi i komprimerad avkänning letar efter de få icke-noll koefficienterna i signalen, i robust regression försöker vi identifiera de få avvikelser som förorenar det linjära förhållandet. En liknande dualitet påpekades redan i [DT09], även om i en särskild situation.
Ett närbesläktat arbete REF studerade samma frågor med hjälp av en annan teknik som kallas ungefärlig meddelande passerar (AMP), återigen förutsatt att ingen legalisering.
High Dimensional Robust M-Estimation: Asymptotic Variance via Approximate Message Passing
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Mathematics', 'Computer Science']}