Förstärkning är en av de viktigaste framstegen inom maskininlärning för klassificering och regression. I sin ursprungliga och beräkningsflexibla version försöker boosting att empiriskt minimera en förlustfunktion på ett girigt sätt. Den resulterande estimator tar en additiv funktion form och byggs iterativt genom att tillämpa en bas estimator (eller inlärare) på uppdaterade prover beroende på de tidigare iterationer. En ovanlig regulariseringsteknik, tidigt stopp, används baserat på CV eller en testuppsättning. I detta dokument studeras numerisk konvergens, överensstämmelse och statistisk konvergens för att öka med ett tidigt stopp, när det utförs över den linjära spännvidden av en familj av basfunktioner. För allmänna förlustfunktioner, visar vi konvergensen av att öka girig optimering till infinimum av förlustfunktionen över den linjära spännvidden. Med hjälp av det numeriska konvergensresultatet finner vi strategier för tidigt stopp som visar sig vara konsekvent baserade på iid-prover, och vi får gränser för konvergenshastigheterna för att öka skattningarna. Simuleringsstudier presenteras också för att illustrera relevansen av våra teoretiska resultat för att ge insikter i praktiska aspekter av att öka. Som sidoprodukt avslöjar dessa resultat också vikten av att begränsa de giriga sökstegsstorlekarna, som i praktiken kallas Friedmans och andras verk. Dessutom leder våra resultat till ett rigoröst bevis på att för ett linjärt separerbart problem, AdaBoost med  på → 0 stepsize blir en L 1 -marginal maximerare när den lämnas att köra till konvergens.
Resultaten i detta dokument är en generalisering av resultaten av Zhang och Yu REF till online-inställningen.
Boosting with Early Stopping: Convergence and Consistency
{'venue': 'ANNALS OF STATISTICS', 'journal': None, 'mag_field_of_study': ['Mathematics']}