Variabelt urval för högdimensionella linjära modeller har fått mycket uppmärksamhet på senare tid, främst i samband med 1 -reglering. En del av attraktionen är den varierande urvalseffekten: parsimoniska modeller erhålls, som är mycket lämpliga för tolkning. När det gäller prediktiv kraft är dock dessa regulariserade linjära modeller ofta något underlägsna maskininlärningsprocedurer som trädensembler. Trädensembler, å andra sidan, saknar vanligtvis ett formellt sätt att variera urval och är svåra att visualisera. En Garrote-stil konvex straff för träd ensembler, särskilt Random Forests, föreslås. Påföljden väljer funktionella grupper av noder i träden. Dessa kan vara lika enkla som monotona funktioner hos enskilda prediktorvariabler. Detta ger en parsimonisk funktion som lätt kan visualiseras och tolkas. Den prediktiva kraften bibehålls på minst samma nivå som den ursprungliga trädensemblen. Ett viktigt inslag i metoden är att när en trädensemble är monterad behöver ingen ytterligare inställningsparameter väljas. Den empiriska prestandan visas på ett brett spektrum av datauppsättningar.
När det gäller prediktiv kraft verkar regelensembler ofta vara bättre än NH och även Random Forests i vår erfarenhet om signal-till-brus är hög REF ].
Forest Garrote
{'venue': 'Electronic Journal of Statistics', 'journal': 'Electronic Journal of Statistics', 'mag_field_of_study': ['Mathematics']}