5.2 知识点复习

5.2.1 再谈极值

求函数$f:{\mathbb{R}}^n\to \mathbb{R}\in {\mathcal{C}}^2$的所有极值的一般步骤为：

(1)

求解$\mathrm{\nabla }f=0$，得到所有的驻点${\mathit{x}}_1,\cdots ,{\mathit{x}}_k$。

(2)

计算Hessian矩阵$H_f$，对每个驻点${\mathit{x}}_i$，依次验证$H_f({\mathit{x}}_i)$为正定、负定、不定还是退化（有$0$特征值）。

(3)

正定$\Rightarrow {\mathit{x}}_i$为极小值点；负定$\Rightarrow {\mathit{x}}_i$为极大值点；不定$\Rightarrow {\mathit{x}}_i$为鞍点。

(4)

对于退化的情况，需要使用其他方法来判断，如近似分析法、更高阶的Taylor展开，或利用下面的定理。

注 近似分析法是Taylor展开的一种应用，即$$\begin{array}{}\text{(2)}& f(x_{01}+v_1,\cdots ,x_{0n}+v_n)=f(x_{01},\cdots ,x_{0n})+\cdots +o(\parallel \mathit{v}{\parallel }^k)\end{array}$$ 它可以用来判断驻点${\mathit{x}}_0$的极值性。

如果在驻点${\mathit{x}}_0$的任意邻域，都存在使得$H_f$不是半正定的点，不能推出${\mathit{x}}_0$不为极小值点，如一元函数$f(x)=x^{2n}{\sin }^2\frac{1}{x}(n\in \mathbb{N})$或$f(x)={\mathrm{e}}^{-\frac{1}{x^2}}{\sin }^2\frac{1}{x}\in {\mathcal{C}}^{\mathrm{\infty }}$。如果补充条件：$f$在${\mathit{x}}_0$处解析，则可以推出${\mathit{x}}_0$不为极小值点。

5.2.2 再谈条件极值

求函数$f:{\mathbb{R}}^n\to \mathbb{R}$在约束条件$g_1,\cdots ,g_r:{\mathbb{R}}^n\to \mathbb{R}$、$g_1=\cdots g_r=0$下的所有条件极值的一般步骤为：

(1)

构造Lagrange函数$L(\mathit{x},\lambda )=f(\mathit{x})-\sum _{i=1}^r{\lambda }_i{g}_i(\mathit{x})$。

(2)

求解$\mathrm{\nabla }L=0$，得到所有的驻点${\mathit{x}}_1,\cdots ,{\mathit{x}}_k$。

(3)

计算Hessian矩阵$H_L$，对每个驻点${\mathit{x}}_i$，依次限制在约束曲面的切空间${\mathrm{T}}_{{\mathit{x}}_i}(\mathrm{\Sigma })$上验证$H_L({\mathit{x}}_i)$为正定、负定、不定还是退化（有$0$特征值）。

(4)

正定$\Rightarrow {\mathit{x}}_i$为极小值点；负定$\Rightarrow {\mathit{x}}_i$为极大值点；不定$\Rightarrow {\mathit{x}}_i$为鞍点。

(5)

对于退化的情况，需要使用其他方法来判断。

求解条件极值的另一种方法是将约束曲面$\mathrm{\Sigma }=\{\mathit{x}\in {\mathbb{R}}^n\mid g_1(\mathit{x})=\cdots =g_r(\mathit{x})=0\}$参数化，得到$\mathit{x}=\mathit{x}(t_1,\cdots ,t_{n-r})$；随后将$f$在$\mathrm{\Sigma }$上表示为$f(\mathit{x}(\mathit{t}))=F(t_1,\cdots ,t_{n-r})$，求解$F$的所有极值。

在特殊情况下可以将约束条件代入目标函数中，使得新的目标函数恰有$n-r$个自变量，从而可以直接使用求极值的方法。

注

(1)

在题设的约束条件下可能会有隐含的约束条件，如$z^2=xy+x-y+4$需要满足$xy+x-y+4\ge 0$。在求出驻点后，还需要验证这些隐含的约束条件。

(2)

尽管我们需要验证Hessian矩阵在切空间上的性质，但如果Hessian本身是正（负）定的，其约束在切空间上一定是正（负）定的。这给出了一个判断条件极值的简便方法（充分条件）。

5.2.3 隐函数的极值

对于方程$F(x_1,\cdots ,x_n,y)=0$确定的隐函数$y=y(\mathit{x})$（需要满足$\frac{\partial F}{\partial y}\ne 0$），为了求出$y$的所有极值，有时候可以直接解方程求得$y$的表达式，但通常较为繁琐。

为了规避解方程，可以计算微分$$\begin{array}{}\text{(3)}& \frac{\partial F}{\partial x_1}\mathrm{d}{x}_1+\cdots +\frac{\partial F}{\partial x_n}\mathrm{d}{x}_n+\frac{\partial F}{\partial y}\mathrm{d}y=0\end{array}$$ 随后代入$\mathrm{d}y=0$得到驻点满足的条件$$\begin{array}{}\text{(4)}& \frac{\partial F}{\partial x_1}=\frac{\partial F}{\partial x_2}=\cdots =\frac{\partial F}{\partial x_n}=F(x_1,\cdots ,x_n,y)=0\end{array}$$

求出驻点$({\mathit{x}}_0,y_0)$后，既可以采用近似分析法来判断$y$在${\mathit{x}}_0$附近的走势，亦即$$\begin{array}{}\text{(5)}& 0=F(x_{01}+v_1,\cdots ,x_{0n}+v_n,y_0+u)\Rightarrow u=\cdots +o(\parallel \mathit{v}{\parallel }^k)\end{array}$$ 由此即可判断${\mathit{x}}_0$是极大值点、极小值点还是鞍点。这里通常需要以下定理：

也可以采用二阶微分的方法来判断，计算可得¹$$\begin{array}{}\text{(8)}& \sum _{i=1}^n\sum _{j=1}^n\frac{{\partial }^{2}F}{\partial x_i\partial x_j}\mathrm{d}{x}_i\mathrm{d}{x}_j+2\sum _{i=1}^n\frac{{\partial }^{2}F}{\partial x_i\partial y}\mathrm{d}{x}_i\mathrm{d}y+\frac{{\partial }^{2}F}{\partial y^2}\mathrm{d}{y}^2+\frac{\partial F}{\partial y}{\mathrm{d}}^{2}y=0\end{array}$$ 代入$\mathrm{d}y=0$可得$$\begin{array}{}\text{(9)}& {\mathrm{d}}^{2}y=-{\left(\frac{\partial F}{\partial y}\right)}^{-1}\sum _{i=1}^n\sum _{j=1}^n\frac{{\partial }^{2}F}{\partial x_i\partial x_j}\mathrm{d}{x}_i\mathrm{d}{x}_j\end{array}$$ 由此即可判断${\mathit{x}}_0$是极大值点、极小值点还是鞍点。

还可以采用条件极值的方法求出$y$的所有极值，即构造Lagrange函数$$\begin{array}{}\text{(10)}& L(x_1,\cdots ,x_n,y,\lambda )=y+\lambda F(x_1,\cdots ,x_n,y)\end{array}$$

5.2.4 *最优性条件

主要内容包括凸函数基本概念、无约束极值问题、等式约束极值问题、一般约束极值问题。大家可以参考 王兆臻学长的习题课课件²。