Stor skala 1 -regulariserade förlustminimeringsproblem uppstår i högdimensionella tillämpningar såsom komprimerad avkänning och högdimensionellt övervakat lärande, inklusive klassificering och regressionsproblem. Högpresterande algoritmer och implementationer är avgörande för att effektivt lösa dessa problem. Med utgångspunkt i tidigare arbete med koordinatalgoritmer för 1 -regulariserade problem introducerar vi en ny familj av algoritmer som kallas blockgrå koordinatnedstigning som, som specialfall, inkluderar flera befintliga algoritmer som SCD, Greedy CD, Shotgun och Thread-Greedy. Vi ger en enhetlig konvergensanalys för familjen av blockgrå algoritmer. Analysen tyder på att blockgrå koordinat nedstigning bättre kan utnyttja parallellism om funktioner är grupperade så att den maximala inre produkten mellan funktioner i olika block är liten. Vår teoretiska konvergensanalys stöds med experimentella resultat med hjälp av data från olika tillämpningar i verkligheten. Vi hoppas att algoritmiska tillvägagångssätt och konvergensanalys vi tillhandahåller inte bara kommer att främja fältet, men också kommer att uppmuntra forskare att systematiskt utforska designutrymmet för algoritmer för att lösa storskaliga 1-regulariseringsproblem.
REF studerade parallell girig koordinat nedstigning.
Feature Clustering for Accelerating Parallel Coordinate Descent
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Computer Science', 'Mathematics']}