牛顿法

最优化

---

设$f(k)$是二次可微实函数,在$x^{(k)}$附近作二阶$Tylor$展开近似

$$f(x^{(k)}) \approx q^{(k)}(s) = f(x^{(k)})+g^{(k)^T} s +\frac{1}{2} s^TG_ks$$
其中$g^{(k)}=\nabla f(x^{(x)})$,$G_k=\nabla^2f(x^{(k)})$将$q^{(k)}(s)$极小化便得
$$s=-G_k^{-1}g^{(k)}$$
上式给出的搜索方向$-G_k^{-1}g^{(k)}$称为牛顿方向.