Vi anser att problemet med regressionslärande för deterministisk design och oberoende slumpmässiga fel. Vi börjar med att bevisa en skarp PAC-bayesian typ bundet till exponentiellt viktade aggregat (EWA) under den förväntade kvadrat empiriska förlusten. För en bred klass av bullerfördelningar som presenteras bundet är giltigt när temperaturparametern β för EWA är större än eller lika med 4σ 2, där σ 2 är bullervariansen. Ett anmärkningsvärt drag i detta resultat är att det är giltigt även för obundna regressionsfunktioner och valet av temperaturparameter beror uteslutande på bullernivån. Nästa, Vi tillämpar denna allmänna bundna till problemet med att aggregera elementen i en finit-dimensionell linjärt utrymme spänns av en ordbok av funktioner 1,. ., M. Vi tillåter M att vara mycket större än provet storlek n men vi antar att den verkliga regressionsfunktionen kan väl approximeras av en gles linjär kombination av funktioner  och j. Under detta sparsamma scenario föreslår vi en EWA med en tung svans tidigare och vi visar att det tillfredsställer en gles orakel ojämlikhet med ledande konstant en. Slutligen föreslår vi flera Langevin Monte-Carlo algoritmer för att ungefär beräkna en sådan EWA när antalet M av aggregerade funktioner kan vara stort. Vi diskuterar i detalj konvergensen av dessa algoritmer och presenterar numeriska experiment som bekräftar våra teoretiska resultat.
REF använde också Langevin MC för att approximera exponentiell viktad aggregerat, och visade PAC-bayesianska gränser för regressionslärande med gleshet tidigare.
Sparse Regression Learning by Aggregation and Langevin Monte-Carlo
{'venue': 'Journal of Computer and System Sciences 78 (2012) 1423-1443', 'journal': None, 'mag_field_of_study': ['Computer Science', 'Mathematics']}