Vi anser att problemet med att uppskatta en gles linjär regressionsvektorn β * under en gaussiansk bullermodell, för både förutsägelse och modellval. Vi utgår från att det finns förkunskaper om sparsamhetsmönstret, nämligen att uppsättningen variabler delas upp i föreskrivna grupper, av vilka endast ett fåtal är relevanta i uppskattningsprocessen. Denna grupp sparsamhet antagande föreslår oss att betrakta Group Lasso metod som ett sätt att uppskatta β *. Vi fastställer orakelojämlikhet för förutsägelsen och l 2 skattningsfel för denna estimator. Dessa gränser håller under ett begränsat eigenvärde villkor på designmatrisen. Under ett starkare koherensvillkor härleder vi gränser för skattningsfelet för blandade (2, p)-normar med 1 ≤ p ≤ ∞. När p = ∞, innebär detta resultat att en tröskelversion av gruppen Lasso estimator väljer sparsamhet mönster β * med hög sannolikhet. Därefter bevisar vi att graden av konvergens av våra övre gränser är optimal i en minimax mening, upp till en logaritmisk faktor, för alla estimatorer över en klass av grupp gles vektorer. Dessutom fastställer vi lägre gränser för förutsägelsen och l 2 skattningsfel för den vanliga Lasso-skattaren. Med hjälp av detta resultat visar vi att koncernen Lasso kan uppnå en förbättring av prognos- och skattningsegenskaperna jämfört med Lasso. En viktig tillämpning av våra resultat tillhandahålls av problemet med att uppskatta flera regressionsekvation samtidigt eller multi-task lärande. I detta fall leder våra resultat till förbättringar av resultaten i [22] och gör det möjligt för en att fastställa den kvantitativa fördelen med gruppen Lasso jämfört med den vanliga Lasso i multi-task-inställningen. Slutligen, inom samma ram, visar vi hur våra resultat kan utvidgas till mer allmänna bullerfördelningar, av vilka vi bara behöver det fjärde ögonblicket för att vara ändliga. För att få denna förlängning, skapar vi en ny maximal ögonblick ojämlikhet, som kan vara av oberoende intresse. Under de senaste åren har det varit en hel del uppmärksamhet på problemet med att uppskatta en gles 1 regressionsvektorn β * från en uppsättning linjära mätningar Här X är en given N × K designmatris och W är en noll genomsnittlig slumpmässig modellering närvaron av buller. En huvudmotivation bakom gles uppskattning kommer från observationen att i flera praktiska tillämpningar är antalet variabler K mycket större än antalet N observationer, men den underliggande modellen är känd för att vara gles, se [8, 12] och referenser där. I denna situation är den vanliga minsta kvadratskattningen inte väldefinierad. En lämpligare skattningsmetod är metoden l 1 - norm som bestraffas minst kvadrater, som vanligen kallas Lasso. De statistiska egenskaperna hos denna estimator är nu välbekanta, se t.ex., [4, 6, 7, 18, 21, 36] och referenser där. I synnerhet är det möjligt att få orakel ojämlikhet på uppskattning och förutsägelse fel, som är meningsfull även i regimen K  på N. I detta dokument, vi studerar ovanstående uppskattning problem under ytterligare strukturella förhållanden på sparsamhet mönster regressionsvektorn β *. Specifikt antar vi att uppsättningen variabler kan delas upp i ett antal grupper, av vilka endast få är relevanta i uppskattningsprocessen. Med andra ord kräver vi inte bara att många komponenter i vektorn β * är noll, utan också att många av en tidigare kända undergrupper av komponenter är alla lika med noll. Detta strukturerade sparsamhet antagande föreslår oss att betrakta Group Lasso metoden [39] som ett medelvärde för att uppskatta β * (se ekvationen (2.2) nedan). Den är baserad på legalisering med en blandad (2, 1)-norm, nämligen summan, över uppsättningen av grupper, av den fyrkantiga normen av regressionskoefficienterna begränsade till var och en av grupperna. Denna uppskattningsman har fått betydande uppmärksamhet på senare tid, se [3, 10, 16, 17, 19, 24, 25, 26, 28, 31] och hänvisningar där. Vårt främsta mål är att klargöra fördelen med detta strängare antagande om grupps gleshet i uppskattningsprocessen jämfört med det vanliga antagandet om gleshet. För detta ändamål ska vi ta itu med frågorna om att begränsa förutsägelsefelet, skattningsfelet samt uppskatta sparsamhetsmönstret. Den största skillnaden från det mesta av det tidigare arbetet är att vi får inte bara de övre gränserna utan också motsvarande nedre gränser och därmed fastställer optimala värden för uppskattning och förutsägelse under grupps gleshet. En huvudmotivation för oss att överväga gruppen sparhet antagande är det praktiskt taget viktiga problemet med samtidig uppskattning koefficienten för flera regressionsekvationer Här X 1,. .., X T föreskrivs n × M design matriser, β * 1,. .., β * T  till R M är de okända regressionsvektorer som vi vill uppskatta, y 1...., y T är n-dimensionella vektorer för observationer och W 1,. ...., W T är i.I.D. Noll genomsnittliga slumpmässiga ljudvektorer. Exempel där denna uppskattning 1 Frasen "β * är sparsam" betyder att de flesta komponenterna i denna vektor är lika med noll. 1 problem är relevant sträcker sig från multi-task lärande [2, 23, 28] och gemensam analys [14, 20] till longitudinell dataanalys [11] samt analys av paneldata [15, 38], bland annat. Vi går kort igenom dessa olika inställningar under arbetets gång. I synnerhet är lärande med flera uppgifter en viktig drivkraft för vårt studium. I den inställningen motsvarar varje regressionsekvation en annan inlärningsuppgift; förutom kravet att M  på n, tillåter vi också att antalet uppgifter T är mycket större än n. Efter [2] antar vi att det bara finns få gemensamma viktiga variabler som delas med uppgifterna. Det vill säga, vi antar att vektorerna β * 1,. .., β * T är inte bara glesa men också har sina gleshet mönster ingår i samma uppsättning av liten kardinalitet. Denna grupps sparsamhetsförutsättning ger upphov till ett samband mellan svaren och, som vi skall se, kan användas för att förbättra uppskattningen. Modellen (1.2) kan omformuleras som ett enda regressionsproblem av formen (1.1) genom att ställa K = MT, N = nT, identifiera vektorn β genom konkatering av vektorerna β 1,. .., β T och välja X att vara ett block diagonal matris, vars block bildas av matriserna X 1,. .., X T, i ordning. På detta sätt ovan sparhet antagande på vektorerna β t översätta i en grupp sparhet antagande på vektorn β *, där varje grupp är associerad med en av variablerna. Det vill säga, varje grupp innehåller samma regressionskomponent över de olika ekvationerna (1.2). Därför är de resultat som utvecklas i detta dokument för gruppen Lasso tillämpliga på inlärningsproblemet med flera arbetsuppgifter som ett specialfall.
• Grupp gleshet: varje rad i matrisen är gles och delar ett gemensamt stöd, t.ex. groupparse regression REF.
Oracle Inequalities and Optimal Inference under Group Sparsity
{'venue': 'Annals of Statistics 39(4): 2164-2204, 2011', 'journal': None, 'mag_field_of_study': ['Mathematics']}