Vi föreslår en allmän metod som kallas trunkerad lutning för att inducera gleshet i vikterna av online lärande algoritmer med konvexa förlustfunktioner. Denna metod har flera väsentliga egenskaper: 1. Graden av gleshet är kontinuerlig en parameter kontrollerar graden av gleshet från ingen gleshet till total gleshet. 2. Utgångspunkten är följande: Tillvägagångssättet är teoretiskt motiverat, och ett exempel på det kan betraktas som en online motsvarighet till den populära L 1-regleringsmetoden i batch-inställningen. Vi visar att små nivåer av sparsam inlärning endast resulterar i små ytterligare beklaganden när det gäller typiska online-lärandegarantier. 3. Vad är det som händer? Metoden fungerar bra empiriskt. Vi tillämpar tillvägagångssättet på flera dataset och ND att för dataset med ett stort antal funktioner, är betydande sparhet kan upptäckas.
Trunkerad lutning används också för att inducera gleshet i de inlärda vikterna av online inlärningsalgoritm REF.
Sparse Online Learning via Truncated Gradient
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Mathematics', 'Computer Science']}