Den linjära Support Vector Machine (SVM) är en av de mest populära binära klassificeringstekniker i maskininlärning. Motiverade av tillämpningar i modern statistik med hög dimension, anser vi bestraffade SVM problem som innebär minimering av en gångjärnsförlust funktion med en konvex sparsitet-inducerande regularizer såsom: L1-normen på koefficienterna, dess grupperade generalisering och den sorterade L1-penalty (alias Slope). Varje problem kan uttryckas som ett linjärt program (LP) och är computingally utmanande när antalet funktioner och / eller prover är stort - nuvarande tillstånd av algoritmer för dessa problem är ganska nascent jämfört med vanliga L2-regularized linjär SVM. I detta syfte föreslår vi nya beräkningsalgoritmer för dessa LPs genom att sammanföra tekniker från (a) klassisk kolumn (och begränsning) genereringsmetoder och (b) första order metoder för icke-smooth konvex optimering - tekniker som sällan används tillsammans för att lösa storskaliga LPs. Dessa komponenter har sina respektive styrkor, och även om de anses vara användbara som separata enheter, har de inte använts tillsammans i samband med att man löst storskaliga LP som de som studeras här. Vårt tillvägagångssätt kompletterar de starka sidorna av a) och b) som leder till ett system som verkar överträffa kommersiella lösare samt specialiserade implementeringar av dessa problem i storleksordningar. Vi presenterar numeriska resultat på en serie av verkliga och syntetiska dataset som visar den överraskande effektiviteten hos klassiska kolonn/konstraint genereringsmetoder i samband med utmanande LP-baserade maskininlärningsuppgifter.
Vårt arbete är relaterat till förslaget av REF som utforskade kolonn och begränsningsgenerering för att lösa legaliserade linjära SVM-problem (med en gångjärnsförlust) som kan uttryckas som LPs.
Solving large-scale L1-regularized SVMs and cousins: the surprising effectiveness of column and constraint generation
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Mathematics', 'Computer Science']}