Abstrakt. Metoder för att rösta klassificeringsalgoritmer, såsom Bagging och AdaBoost, har visat sig vara mycket framgångsrika när det gäller att förbättra noggrannheten hos vissa klassificeringar för artificiella och verkliga datauppsättningar. Vi granskar dessa algoritmer och beskriver en stor empirisk studie som jämför flera varianter tillsammans med en beslutsträdsinducerare (tre varianter) och en Naive-Bayes-inducerare. Syftet med studien är att förbättra vår förståelse av varför och när dessa algoritmer, som använder perturbation, revikting och kombinationsteknik, påverkar klassificeringsfel. Vi ger en bias och varians sönderdelning av felet för att visa hur olika metoder och varianter påverkar dessa två termer. Detta gjorde det möjligt för oss att avgöra att Bagging reducerade variansen av instabila metoder, samtidigt öka metoder (AdaBoost och Arc-x4) minskade både för- och variansen av instabila metoder men ökade variansen för Naive-Bayes, som var mycket stabil. Vi observerade att Arc-x4 beter sig annorlunda än AdaBoost om omviktning används istället för omsampling, vilket tyder på en grundläggande skillnad. Omröstningsvarianter, av vilka några införs i detta dokument, inkluderar: beskärning kontra ingen beskärning, användning av probabilistiska uppskattningar, viktförändringar (Waging) och bakmontering av data. Vi fann att bogging förbättras när probabilistiska uppskattningar i samband med ingen-beskärning används, liksom när data var backfit. Vi mäter trädstorlekar och visar en intressant positiv korrelation mellan ökningen av den genomsnittliga trädstorleken i AdaBoost försök och dess framgång med att minska felet. Vi jämför det genomsnittliga felet i röstningsmetoderna med icke-röstningsmetoder och visar att röstningsmetoderna leder till stora och betydande minskningar av de genomsnittliga felen. Praktiska problem som uppstår i genomförandet av öka algoritmer utforskas, inklusive numeriska instabiliteter och underflöden. Vi använder scatterplots som grafiskt visar hur AdaBoost reviktar instanser, betonar inte bara "hårda" områden utan också outliers och buller.
En bred empirisk jämförelse av röstalgoritmer som baging och öka utförs i REF.
An Empirical Comparison of Voting Classification Algorithms: Bagging, Boosting, and Variants
{'venue': 'Machine Learning', 'journal': 'Machine Learning', 'mag_field_of_study': ['Mathematics', 'Computer Science']}