I detta dokument analyserar vi konvergensen av den alternerande riktning metoden för multiplikatorer (ADMM) för att minimera en icke konvex och möjligen icke-smooth objektiv funktion,  på (x 0,. .., x p, y), med förbehåll för kopplade linjära jämställdhetsbegränsningar. Vår ADMM uppdaterar var och en av de primära variablerna x 0,. .., x p, y, följt av uppdatering av den dubbla variabeln. Vi skiljer variabeln y från x i's eftersom den har en speciell roll i vår analys. Den utvecklade konvergensgarantin täcker en mängd icke-konvexa funktioner såsom delvis linjära funktioner, l q kvasi-norm, Schatten-q kvasi-norm (0 < q < 1) och SCAD. Det tillåter också icke konvexa begränsningar såsom kompakta grenrör (t.ex. sfäriska, Stiefel och Grassman grenrör) och linjära komplementaritet begränsningar. Dessutom kan x 0-blocket vara nästan vilken lägre semikontinuerlig funktion som helst. Genom att tillämpa vår analys visar vi, för första gången, att flera ADMM-algoritmer tillämpas för att lösa icke konvexa modeller i statistisk inlärning, optimering på multiple, optimering över komplementaritet begränsningar, och matris sönderdelning garanteras att konvergera. Våra resultat ger tillräckliga förutsättningar för ADMM att konvergera på (konvexa eller icke konvexa) monotropa program med tre eller fler block, eftersom de är speciella fall av vår modell. ADMM har betraktats som en variant av den förstärkta Lagrangian metoden (ALM). Vi presenterar ett enkelt exempel för att illustrera hur ADMM konvergerar men ALM avviker med begränsad straffparameter β. Enligt detta exempel och annan analys i detta dokument kan ADMM vara ett bättre val än ALM för vissa icke konvexa nonsmooth-problem, eftersom ADMM inte bara är lättare att genomföra, det är också mer sannolikt att konvergera för de berörda scenarierna.
Wang m.fl. REF analyserade konvergensen av ADMM för att minimera en icke-konvex och möjligen icke-smooth objektiv funktion med kopplade linjära begränsningar.
Global Convergence of ADMM in Nonconvex Nonsmooth Optimization
{'venue': 'Journal of Scientific Computing, 2018', 'journal': None, 'mag_field_of_study': ['Mathematics', 'Computer Science']}