Flerskiktad representation tros vara den viktigaste ingrediensen i djupa neurala nätverk särskilt i kognitiva uppgifter som datorseende. Även om icke-differentierbara modeller såsom gradient öka beslut träd (GBDT) är de dominerande metoderna för att modellera diskreta eller tabular data, de är svåra att införliva med sådan representation inlärningsförmåga. I detta arbete föreslår vi den flerskiktade GBDT skogen (mGBDT), med en uttrycklig betoning på att utforska förmågan att lära hierarkiska representationer genom att stapla flera lager av regression GBDT som sin byggsten. Modellen kan tränas gemensamt genom en variant av målförökning över lager, utan behov av att härleda back-förökning eller differentiering. Experiment och visualiseringar bekräftade modellens effektivitet när det gäller prestanda och representation inlärningsförmåga.
Multiskiktad lutning öka beslut träd (mGBDTs) REF byggblock för varje lager med en uttrycklig betoning på representation lära sig att lära hierarkiska distribuerade representationer genom stapling av flera lager av en regression GBDT.
Multi-Layered Gradient Boosting Decision Trees
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Computer Science', 'Mathematics']}