Vi anser, i den moderna inställningen av högdimensionell statistik, det klassiska problemet med att optimera den objektiva funktionen i regression med hjälp av M-uppskattningar när felfördelningen antas vara känd. Vi föreslår en algoritm för att beräkna denna optimala objektiv funktion som tar hänsyn till problemets dimensionalitet. Även om optimalitet uppnås under antaganden om designmatrisen som inte alltid kommer att vara nöjd, avslöjar vår analys i allmänhet intressanta familjer av dimensionsberoende objektiva funktioner. robust regression  på prox funktion I n denna artikel, studerar vi ett klassiskt statistiskt problem: hur man plockar optimalt (bland regression M-skattningar) målet att minimeras i en parametrisk regression när vi vet felfördelningen. Vår studie genomförs i modern miljö där antalet prediktorer står i proportion till antalet observationer. Det klassiska svaret på det problem vi ställde i början, maximal sannolikhet, gavs av Fisher (1) i det specifika fallet med multinomala modeller och därefter på efterföljande generalitetsnivåer av Cramér (2), Hájek (3) och, framför allt, Le Cam (4). Till exempel, för p fast eller p=n → 0 snabb nog, minst kvadrater är optimal för Gaussiska fel, medan minst absoluta avvikelser (LAD) är optimal för dubbelexponentiella fel. Vi ska visa att detta inte längre är sant i den ordning vi överväger med svaret beroende på, i allmänhet, gränsvärdet för förhållandet p=n samt formen för felfördelningen. Vår analys i detta papper utförs i inställningen av Gaussian prediktorer, även om som vi förklarar nedan, detta antagande bör vara avslappnad till en situation där fördelningen av prediktorer uppfyller vissa koncentrationsegenskaper för kvadratiska former. Vi utför vår analys i en regim som i huvudsak har outforskats, nämligen 0 p=n < 1, där p är antalet prediktorvariabler och n är antalet oberoende observationer. Eftersom i de flesta tillämpningsområden, situationer där p såväl som n är stora har blivit avgörande, har det funnits en enorm mängd litteratur om fallet där p=n 0 men antalet "relevanta" prediktorer är liten. I detta fall har den objektiva funktionen, quadratic (minst kvadrater) eller på annat sätt (l 1 för LAD) ändrats till att omfatta en påföljd (vanligtvis l 1 ) på regressionskoefficienterna, som tvingar gleshet (5). Det pris som betalas för denna ändring är att uppskattningar av individuella koefficienter är allvarligt partiska och statistiska slutsatser, i motsats till förutsägelser, ofta blir problematiska. I domarens namn. 6, visade vi † att detta pris inte behöver betalas om p=n stannar avgränsade från 1, även om regressionen inte har en gles representation. Vi går igenom de viktigaste teoretiska resultaten från denna tidigare uppsats i Resultat 1 nedan. Några av våra viktigaste resultat var följande: (i) Överraskande, när 0 p=n < 1 - e, är det inte längre sant att LAD är nödvändigtvis bättre än minst kvadrater för tung-tailed fel. Detta beteende är olikt det i den klassiska regimen p avgränsade eller p=n → 0 snabbt nog studerade, till exempel, i ref. 7. Vad är det som händer? (ii) Linjära kombinationer av regressionskoefficienter är opartiska och fortfarande asymptotiskt Gaussian i takt med 1= fffffffi n p. Denna artikel innehåller tre huvuddelar: Bakgrund och Huvudresultat innehåller nödvändig bakgrund och en beskrivning av våra resultat. I Computing det optimala målet ger vi två exempel på intresse för statistiker: fallet med Gaussiska fel och fallet med dubbelexponentiella fel. Vi presenterar våra härledningar i den sista delen. Vi anser att ett problem där vi observerar n oberoende, identiskt fördelade par ðX i ; Y i  till, där X i är en p-dimensionell vektor av prediktorer, och Y i är en skalar svar. Vi kallar problemet för högdimensionellt när förhållandet p=n inte är nära 0. I själva verket överväger vi en asymptotisk miljö där lim inf p=n inte är 0. Vi begränsar oss också till det fall där lim sup p=n < 1. Så vitt vi vet har allt det mycket stora arbetet utvecklats i robust regression (efter ref. 7) är bekymrad över situationer där p=n tenderar till 0, eftersom n tenderar till oändlighet. Låt oss helt kort påminna om detaljerna i det robusta regressionsproblemet. Vi anser att uppskattningen
För det speciella fallet av unregularized M-skattning (σ 1⁄4 0), felet q s och formen av den optimala förlustfunktionen karakteriserades i ett nyligen utfört arbete REF, med hjälp av matematiska argument som påminner om hålrumsmetoden i statistisk fysik.
Optimal M-estimation in high-dimensional regression
{'venue': 'Proceedings of the National Academy of Sciences of the United States of America', 'journal': 'Proceedings of the National Academy of Sciences of the United States of America', 'mag_field_of_study': ['Medicine', 'Mathematics']}