Många problem i högdimensionell statistik och optimering innebär minimering över nonconvex begränsningar-till exempel, en rankrestriktion för en matris uppskattning problem-men lite är känt om de teoretiska egenskaperna hos sådana optimeringsproblem för en allmän nonconvex restriktion set. I detta papper studerar vi samspelet mellan de geometriska egenskaperna hos restriktionsuppsättningen och konvergensbeteendet hos lutningsnedstigningen för minimering över denna uppsättning. Vi utvecklar begreppet lokala konkavitet koefficienter av begränsningen uppsättning, mäta i vilken utsträckning konvexitet kränks, som styr beteendet av projicerad lutning nedstigning över denna uppsättning. Vi demonstrerar mångsidigheten av dessa konkavitetskoefficienter genom att beräkna dem för en rad problem i lågvärdig uppskattning, gles uppskattning och andra exempel. Genom vår förståelse av dessa geometriska egenskapers roll i optimeringen ger vi sedan en konvergensanalys när prognoserna endast beräknas ungefärligt, vilket leder till en mer effektiv metod för projicerad lutningsnedstigning vid problem med lågvärdiga skattningar.
I REF, konvergens resultat av projicerad lutning nedstigning bevisas med hjälp av en geometrisk egenskap, som kallas lokal konkavitet.
Gradient descent with nonconvex constraints: local concavity determines convergence
{'venue': None, 'journal': 'arXiv: Optimization and Control', 'mag_field_of_study': ['Mathematics']}