, där är en observation vektor, är en designmatris med, är en okänd regressionsvektorn, och är additiv Gaussian brus. Detta papper studerar minimax nivåer av konvergens för att uppskatta i antingen -förlust och -prediction förlust, förutsatt att det tillhör en -boll för vissa. Det visas att under lämpliga regelbundenhet förhållanden på designmatrisen, minimax optimal hastighet i -förlust och -prediction förlustvågar som. Analysen i detta dokument visar att villkor på designmatrisen inträder i talen för -terror och -prediction fel på kompletterande sätt i de övre och nedre gränserna. Våra bevis på de nedre gränserna är information teoretiska i naturen, baserat på Fanos ojämlikhet och resultat på den metriska entropi av bollarna, medan våra bevis på de övre gränserna är konstruktiva, vilket innebär direkt analys av minst kvadrater över -bollar. För specialfallet, som motsvarar modeller med en exakt gleshet begränsning, våra resultat visar att även om beräkningseffektiva - baserade metoder kan uppnå minimax hastigheter upp till konstanta faktorer, kräver de något starkare antaganden på designmatrisen än optimala algoritmer som involverar minst-kvadrater över -bollen.
Minimax-hastigheter för regression under gleshetsbegränsningar härleds i REF.
Minimax Rates of Estimation for High-Dimensional Linear Regression Over $\ell_q$ -Balls
{'venue': 'IEEE Transactions on Information Theory', 'journal': 'IEEE Transactions on Information Theory', 'mag_field_of_study': ['Computer Science', 'Mathematics']}