Gradientinis nusileidimas
Gradientinis nusileidimas – optimizavimo metodas, besiremiantis tuo, kad skaliarinio lauko gradientas visada rodo greičiausio lauko augimo kryptį, o antigradientas – greičiausio mažėjimo kryptį. Naudojant gradientinio nusileidimo metodą kartojamas žingsnis, nusakomas formule x n + 1 = x n − γ n ∇ F ( x n ) ,   n ≥ 0. {\displaystyle \mathbf {x} _{n+1}=\mathbf {x} _{n}-\gamma _{n}\nabla F(\mathbf {x} _{n}),\ n\geq 0.} Čia x n {\displaystyle x_{n}}  – ankstesnė parametro, pagal kurį optimizuojama, reikšmė, x n + 1 {\displaystyle x_{n+1}}  – nauja šio parametro reikšmė, F ( ) {\displaystyle F()}  – tikslo funkcija, o γ n {\displaystyle \gamma _{n}}  – žingsnio dydis, kuris gali būti arba pastovus, arba keičiamas kiekviename žingsnyje.