Vi föreslår en enande algoritm för icke-smooth icke-konvex optimering. Algoritmen approximerar den objektiva funktionen genom en konvex modellfunktion och finner en ungefärlig (Bregman) proximal punkt i konvexa modellen. Denna ungefärliga minimering av modellen funktionen ger en nedstigning riktning, längs vilken nästa iterera hittas. Kompletterat med en Armijo-liknande linjesökningsstrategi får vi en flexibel algoritm för vilken vi bevisar (subsequential) konvergens till en stationär punkt under svaga antaganden om tillväxten av modellen funktionsfel. Särskilda fall av algoritmen med en Euclidean distansfunktion är till exempel Gradient Descent, Forward-Backward Splitting, ProxDescent, utan det gemensamma kravet på en "Lipschitz kontinuerlig gradient". Dessutom anser vi att en bred klass av Bregman avståndsfunktioner (genererade av Legendre funktioner) ersätter Euclidean avstånd. Algoritmen har ett brett spektrum av tillämpningar inklusive många linjära och icke-linjära inversa problem i bildbehandling och maskininlärning.
I REF föreslogs en utvidgning av ramen till att omfatta ett allmänt icke-smooth första ordningens orakel och ett flexibelt val av Bregman-avstånd.
Non-smooth Non-convex Bregman Minimization: Unification and new Algorithms
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Computer Science', 'Mathematics']}