Abstract State-of-the-art beslut träd metoder tillämpa heuristics rekursivt för att skapa varje uppdelning i isolering, som kanske inte fångar väl de underliggande egenskaperna hos datauppsättningen. Det optimala beslutsträdsproblemet försöker lösa detta genom att skapa hela beslutsträdet på en gång för att uppnå global optimalitet. Under de senaste 25 åren, algoritmiska framsteg i heltal optimering i kombination med hårdvaruförbättringar har resulterat i en häpnadsväckande 800 miljarder faktor hastighetsökning i blandade-integer optimering (MIO). Motiverade av denna upptrappning presenterar vi optimala klassifikationsträd, en ny formulering av problemet med beslutsträd med hjälp av modern MIO-teknik som ger det optimala beslutsträdet för yxor-justerade splits. Vi visar också rikedomen i denna MIO formulering genom att anpassa den för att ge optimal klassificering träd med hyperplan som genererar optimala beslut träd med multivariat uppdelningar. Syntetiska tester visar att dessa metoder återvinner det verkliga beslutsträdet närmare än heuristik, vilket vederlägger uppfattningen att optimala metoder överanstränger träningsdata. Vi jämför dessa metoder på ett urval av 53 dataset från UCI-maskininlärningsarkivet. Vi konstaterar att dessa MIO-metoder praktiskt taget går att lösa på verkliga datauppsättningar med storlekar på 1000-talet, och ger genomsnittliga absoluta förbättringar av noggrannheten utanför urvalet över CART på 1-2 respektive 3-5% för de univariata respektive multivariata fallen. Dessutom identifierar vi att optimala klassifikationsträd sannolikt överträffar CART med 1,2-1,3% i situationer där CART-noggrannheten är hög och vi har tillräckliga träningsdata, medan den multivariata versionen överträffar CART med 4-7% när CART-noggrannheten eller dimensionen i datauppsättningen är låg.
REF-studie som bygger upp optimala klassificeringsträd med både univariata och multivariata beslutsdelningar.
Optimal classification trees
{'venue': 'Machine Learning', 'journal': 'Machine Learning', 'mag_field_of_study': ['Mathematics', 'Computer Science']}