Boosting är en allmän metod för att förbättra prestandan hos inlärningsalgoritmer. En nyligen föreslagen öka algoritm, AdaBoost, har tillämpats med stor framgång på flera benchmarking maskininlärning problem med att använda främst beslut träd som bas klassificerare. I denna artikel undersöker vi om AdaBoost också fungerar lika bra med neurala nätverk, och vi diskuterar fördelarna och nackdelarna med olika versioner av AdaBoost algoritm. I synnerhet jämför vi utbildningsmetoder som bygger på provtagning av träningssetet och viktning av kostnadsfunktionen. Resultaten tyder på att slumpmässig omsampling av träningsdata inte är den viktigaste förklaringen till framgången med AdaBoosts förbättringar. Detta är i motsats till baging, som direkt syftar till att minska varians och för vilken slumpmässig omsampling är avgörande för att få minskningen i generalisering fel. Vårt system uppnår ca 1,4% fel på en datauppsättning on-line handskrivna siffror från mer än 200 författare. Ett förstärkt flerskiktsnätverk uppnådde 1,5 % fel på UCI-bokstäverna och 8,1 % fel på UCI-satellitdatamängden, vilket är betydligt bättre än boostade beslutsträd.
Bengio och al. REF undersökte prestandan hos AdaBoost i neurala nätverk och fann att bootstrap omsampling som ingår i den ökande ramen var viktigt för att erhålla minskning av generalisering fel.
Boosting Neural Networks
{'venue': 'Neural Computation', 'journal': 'Neural Computation', 'mag_field_of_study': ['Medicine', 'Computer Science']}