Vi föreslår en ny algoritm för att minimera legaliserad empirisk förlust: Stochastic Dual Newton Ascent (SDNA). Vår metod är dubbel till sin natur: i varje iteration uppdaterar vi en slumpmässig delmängd av de dubbla variablerna. Till skillnad från befintliga metoder som stokastisk dubbel koordinat stigning, är dock SDNA kapabel att utnyttja all krökningsinformation som finns i exemplen, vilket leder till slående förbättringar i både teori och praktik ibland av storleksordningar. I specialfallet när en L2-regularizer används i primal, är det dubbla problemet en konkava quadratic maximization problem plus en separerbar term. I denna regim löser SDNA i varje steg ett proximalt subproblem som involverar en slumpmässig huvudsaklig submatris av hessianen av den kvadratiska funktionen; varifrån metodens namn. Om förlustfunktionerna dessutom är kvadratiska kan vår metod tolkas som en ny variant av den nyligen införda Iterative Hessian Sketch.
En stokastisk dubbel uppstigningsmetod (SDNA) föreslogs och analyserades i REF.
SDNA: Stochastic Dual Newton Ascent for Empirical Risk Minimization
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Mathematics', 'Computer Science']}