Vi föreslår en ny högdimensionell linjär regressionsskattare: Discrete Dantzig Selector, som minimerar antalet icke-noll regressionskoefficienter som omfattas av en budget på den maximala absoluta korrelationen mellan egenskaper och restprodukter. Motiverade av de betydande framsteg i heltal optimering under de senaste 10-15 åren, presenterar vi en blandad heltal linjär optimering (MILO) metod för att erhålla garanterat optimala globala lösningar på detta icke konvexa optimeringsproblem. Den nuvarande tillstånd av algoritmik i heltal optimering gör vårt förslag betydligt mer beräkningsmässigt attraktiv än de minst kvadrater delmängd urvalsram baserat på heltal quadratic optimering, nyligen föreslås av Bertsimas et al. och den kontinuerliga icke konvexa quadratic optimeringsramen för Liu et al.. Vi föreslår nya diskreta första ordningen metoder, som när de kombineras med toppmoderna MILO-lösare, leder till bra lösningar för Discrete Dantzig Selector problem för en given beräkningsbudget. Vi illustrerar att vår integrerade strategi ger globalt optimala lösningar i betydligt kortare beräkningstider, jämfört med off-the-shelf MILO lösare. Vi visar både teoretiskt och empiriskt att de statistiska egenskaperna hos Diskrete Dantzig Selector i ett brett spektrum av regimer är överlägsna dem hos populära 1-baserade metoder. Vi illustrerar att vårt tillvägagångssätt kan hantera problemfall med p = 10 000 funktioner med certifierbar optimalitet vilket gör det till en mycket skalbar kombinatoriell variabel urvalsmetod i gles linjär modellering.
Medan fokus för detta arbete är på bästa delmängd val i fallet med minst kvadrat förlust, vi förväntar oss en liknande historia att hålla för den nyligen föreslagna Discrete Dantzig Selector REF, som har överlägsen beräkningsprestanda.
The Discrete Dantzig Selector: Estimating Sparse Linear Models via Mixed Integer Linear Optimization
{'venue': 'IEEE Transactions on Information Theory', 'journal': 'IEEE Transactions on Information Theory', 'mag_field_of_study': ['Computer Science', 'Mathematics']}