Sparity-konstruerad optimering har bred tillämplighet i maskininlärning, statistik, och signalbehandling problem såsom funktionsval och Kompressiv Sensing. En stor mängd arbete har studerat den sparsitetskonstruerade optimeringen från teoretiska, algoritmiska och tillämpningsaspekter i samband med gles uppskattning i linjära modeller där uppskattningens trohet mäts med kvadratfelet. Däremot har relativt mindre ansträngningar gjorts i studiet av sparditetsanpassad optimering i de fall där ickelinjära modeller är inblandade eller kostnadsfunktionen inte är kvadratisk. I detta dokument föreslår vi en girig algoritm, Gradient Support Pursuit (GraSP), för att approximera glesa minima av kostnadsfunktioner av godtycklig form. Om en kostnadsfunktion har en Stable Restrikted Hessian (SRH) eller en Stable Restrikted Linearization (SRL), som båda introduceras i detta papper, vår algoritm är garanterad att producera en gles vektor inom ett begränsat avstånd från den sanna glesa optimal. Vårt tillvägagångssätt generaliserar kända resultat för kvadratiska kostnadsfunktioner som uppstår i gles linjär regression och Kompressiv Sensing. Vi utvärderar också GraSP:s prestanda genom numeriska simuleringar på syntetisk data, där algoritmen används för gles logistisk regression med och utan 2 -regularisering.
I REF, en lutning stöd jakt algoritm föreslås och analyseras.
Greedy Sparsity-Constrained Optimization
{'venue': 'Journal of Machine Learning Research, 14(3):807--841, 2013', 'journal': None, 'mag_field_of_study': ['Mathematics', 'Computer Science']}