Ett grundläggande problem i modern högdimensionell dataanalys innebär att man effektivt kan dra en uppsättning P okända modellparametrar som styr förhållandet mellan in- och utgångarna av N bullriga mätningar. Olika metoder har föreslagits för att regressera utdata mot indata för att återställa P-parametrarna. Vilka är grundläggande gränser för regressionsnoggrannheten, med tanke på finita signal-till-brus-förhållanden, begränsade mätningar, förhandsinformation och krav på beräkningsegenskaper? Hur kan vi optimalt kombinera tidigare information med mätningar för att uppnå dessa gränser? Klassisk statistik ger skarpa svar på dessa frågor som mätdensiteten α 1⁄4 ðN=P på → ∞. Dessa klassiska resultat är dock inte relevanta för moderna högdimensionella inferensproblem, som i stället förekommer vid finita α. Vi använder replikateori för att besvara dessa frågor för en klass av inferensalgoritmer, kända i statistiklitteraturen som M-skattare. Dessa algoritmer försöker återställa P-modellen parametrar genom att lösa ett optimeringsproblem som innebär att minimera summan av en förlust funktion som straffar avvikelser mellan data och modell förutsägelser, och en regularizer som utnyttjar tidigare information om modellparametrar. Omfattande omhuldade algoritmer som maximal sannolikhet (ML) och maximum-a posteriori (MAP) slutsatser uppstår som specialfall av M-skattare. Vår analys avslöjar grundläggande gränser för inferensnoggrannheten hos en underklass av M-skattare som motsvarar beräkningsbart konvexa optimeringsproblem. Dessa gränser generaliserar klassiska statistiska teorem som Cramer-Rao bundna till den högdimensionella inställningen med tidigare information. Vi upptäcker vidare den optimala M-skattaren för log-konkav signal och bullerfördelning; vi visar att den kan uppnå våra högdimensionella gränser för inferensnoggrannhet, medan ML och MAP inte kan. Förvånansvärt nog, i höga dimensioner, dessa optimala algoritmer blir beräkningsmässigt enklare än ML och MAP medan de fortfarande överträffar dem. Exempelvis kan sådana optimala M-skattningsalgoritmer leda till så mycket som en 20-procentig minskning av mängden data för att uppnå samma prestanda i förhållande till MAP. Dessutom visar vi en förutsägelse av replikateorin att ingen slutledning som helst kan överträffa vår optimala M-skattningsmetod när signal och bullerfördelning är log-concave, genom att avslöja en motsvarighet mellan optimal M-skattning och optimal Bayesian inference i denna miljö. Vår analys visar också insikter i karaktären av generalisering och prediktiv kraft i höga dimensioner, informationsteoretiska gränser för komprimerad avkänning, fasövergångar i quadratic inference, och kopplingar till centrala matematiska objekt i konvex optimeringsteori och slumpmässig matristeori.
Dessutom fann REF den optimala regulariserade M-skattaren och visade, överraskande, noll prestanda gap i förhållande till MMSE.
Statistical Mechanics of Optimal Convex Inference in High Dimensions
{'venue': None, 'journal': 'Physical Review X', 'mag_field_of_study': ['Physics']}