Icke-konvexa glesa påföljder har på senare tid fått stor uppmärksamhet i det glesa lärandet. Nyligen genomförda teoretiska undersökningar har visat sin överlägsenhet över konvexa motsvarigheter i flera glesa inlärningsmiljöer. Men att lösa de icke-konvexa optimeringsproblemen i samband med icke-konvexa sanktioner är fortfarande en stor utmaning. Ett vanligt tillvägagångssätt är Multi-Stage (MS) konvex avslappning (eller DC-programmering), som slappnar av det ursprungliga icke-konvexa problemet till en sekvens av konvexa problem. Detta tillvägagångssätt är vanligtvis inte särskilt praktiskt för storskaliga problem eftersom dess beräkningskostnader är en multipel av att lösa ett enda konvext problem. I detta dokument föreslår vi en general Iterative Shrinkage and Thresholding (GIST) algoritm för att lösa problemet nonconvex optimering för en stor klass av icke-konvexa straff. GIST-algoritmen löser iterativt ett proximalt operatörsproblem, som i sin tur har en sluten lösning för många vanliga straff. Vid varje yttre iteration av algoritmen använder vi en linjesökning initierad av Barzilai- Borwein (BB) regel som gör det möjligt att hitta en lämplig stegstorlek snabbt. I dokumentet presenteras också en detaljerad konvergensanalys av GIST-algoritmen. Effektiviteten hos den föreslagna algoritmen visas genom omfattande experiment på storskaliga datamängder.
REF föreslog en effektiv iterativ krymp- och tröskelalgoritm för att lösa problem som inte är konvexa.
A General Iterative Shrinkage and Thresholding Algorithm for Non-convex Regularized Optimization Problems
{'venue': 'Proceedings of the ... International Conference on Machine Learning. International Conference on Machine Learning', 'journal': 'Proceedings of the ... International Conference on Machine Learning. International Conference on Machine Learning', 'mag_field_of_study': ['Mathematics', 'Computer Science', 'Medicine']}