Vi studerar de icke-smooth optimeringsproblem i maskininlärning, där både förlustfunktion och regularizer är icke-smooth funktioner. Tidigare studier på effektiv empirisk förlustminimering antar antingen en mjuk förlustfunktion eller en starkt konvex regularizer, vilket gör dem olämpliga för icke-smooth optimering. Vi utvecklar en enkel men effektiv metod för en familj av icke-smooth optimeringsproblem där den dubbla formen av förlustfunktion är bilinear i primal och dubbla variabler. Vi kastar ett icke-smooth optimeringsproblem i en minimax optimering problem, och utveckla en primal dubbel prox metod som löser minimax optimering problem med en hastighet av O(1/T ) förutsatt att det proximala steget kan effektivt lösas, betydligt snabbare än en standard subgradient nedstigningsmetod som har en O(1/ ❌ T ) konvergenshastighet. Våra empiriska studier verifierar effektiviteten av den föreslagna metoden för olika icke-smooth optimeringsproblem som uppstår allmänt i maskininlärning genom att jämföra den med de state-of-the-art första order metoder.
Nyligen, den primära-dual stilen av första ordningen metoder har använts för att lösa icke-smooth optimeringsproblem i maskininlärning där både förlustfunktion och regularizer är icke-smooth REF.
An efficient primal dual prox method for non-smooth optimization
{'venue': 'Machine Learning', 'journal': 'Machine Learning', 'mag_field_of_study': ['Mathematics', 'Computer Science']}