Vi etablerar teoretiska resultat avseende alla lokala optimering av olika regulariserade Mestimatorer, där både förlust- och strafffunktioner tillåts vara icke konvexa. Våra resultat visar att så länge förlustfunktionen uppfyller begränsad stark konvexitet och strafffunktionen uppfyller lämpliga regelbundenhetsvillkor, ligger alla lokala optimala av den sammansatta objektiva funktionen inom statistisk precision av den sanna parametervektorn. Vår teori täcker en bred klass av icke konvexa objektiva funktioner, inklusive rättade versioner av Lasso för fel-i-variables linjära modeller; regression i generaliserade linjära modeller med hjälp av icke konvexa regularizers såsom SCAD och MCP; och graf och invers covariance matris uppskattning. På optimeringssidan, visar vi att en enkel anpassning av sammansatt lutning nedstigning kan användas för att beräkna en global optimal upp till den statistiska precisionen  på stat i log(1/ på stat ) iterationer, vilket är den snabbaste möjliga hastigheten av någon första ordningen metod. Vi tillhandahåller en mängd olika simuleringar för att illustrera skärpan i våra teoretiska förutsägelser.
REF visade att under milda förhållanden kommer varje stationär punkt i den icke konvexa objektiva funktionen att ligga nära de underliggande sanna parametrarna.
Regularized M-estimators with nonconvexity: Statistical and algorithmic theory for local optima
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Computer Science', 'Mathematics']}