Det visas att den brantaste nedstigningen och Newtons metod för okonstruerad icke konvex optimering enligt standardantaganden kan både kräva ett antal iterationer och funktionsutvärderingar godtyckligt nära O( ska −2 ) för att driva normen för lutningen under. Detta visar att den övre gränsen av O( ska −2 ) utvärderingar kända för den brantaste nedstigningen är snäv, och att Newtons metod kan vara så långsam som brantaste nedstigning i värsta fall. Den förbättrade utvärderingskomplexiteten i de O-utvärderingar som är kända för kubiskt regulariserade Newton-metoder visar sig också vara snäv.
REF visade också att O(1/ ε t)-hastigheten var tight för lutningsnedstigningsmetoden för ett icke-konstruerat mål.
On the Complexity of Steepest Descent, Newton's and Regularized Newton's Methods for Nonconvex Unconstrained Optimization Problems
{'venue': 'SIAM Journal on Optimization', 'journal': 'SIAM Journal on Optimization', 'mag_field_of_study': ['Computer Science', 'Mathematics']}