3.2 知识点复习

3.2.1 Taylor公式

重要概念回顾 Taylor展开：设$f\in {\mathcal{C}}^r$，则$f$在${\mathit{x}}_0$处带Lagrange余项的Taylor展开为$$\begin{array}{}\text{(1)}& \begin{array}{rl}f({\mathit{x}}_0+\mathit{v})=f({\mathit{x}}_0)& +\sum _{k=1}^{r-1}\frac{1}{k!}\sum _{i_1,\cdots ,i_k=1}^n\frac{{\partial }^{k}f}{\partial x_{i_k}\cdots \partial x_{i_1}}({\mathit{x}}_0)v_{i_1}\cdots v_{i_k}\\ & +\frac{1}{r!}\sum _{i_1,\cdots ,i_r=1}^n\frac{{\partial }^{r}f}{\partial x_{i_r}\cdots \partial x_{i_1}}({\mathit{x}}_0+\theta \mathit{v})v_{i_1}\cdots v_{i_r}\end{array}\end{array}$$ 其中$\mathit{v}\to \mathbf{0}$却$\theta \in (0,1)$。根据$f$的$r$阶偏导数的连续性可得$$\begin{array}{}\text{(2)}& f({\mathit{x}}_0+\mathit{v})=\sum _{k=0}^r\frac{1}{k!}\sum _{i_1,\cdots ,i_k=1}^n\frac{{\partial }^{k}f}{\partial x_{i_k}\cdots \partial x_{i_1}}({\mathit{x}}_0)v_{i_1}\cdots v_{i_k}+o(\parallel \mathit{v}{\parallel }^r)\end{array}$$

重要定理回顾

(1)

Taylor多项式的唯一性：设$f\in {\mathcal{C}}^r$，$f$是满足$\mathrm{deg}P\le r$的多项式，若$$\begin{array}{}\text{(3)}& f(\mathit{x})-P(\mathit{x})=o(\parallel \mathit{x}-{\mathit{x}}_0{\parallel }^r),\mathit{x}\to {\mathit{x}}_0\end{array}$$ 则$P$是$f$在${\mathit{x}}_0$处的$r$阶Taylor多项式。

(2)

低阶Taylor展开：$$\begin{array}{}\text{(4)}& f({\mathit{x}}_0+\mathit{v})=f({\mathit{x}}_0)+⟨\mathrm{\nabla }f({\mathit{x}}_0),\mathit{v}⟩+\frac{1}{2}⟨\mathit{v},H_f({\mathit{x}}_0)\mathit{v}⟩+o(\parallel \mathit{v}{\parallel }^2)\end{array}$$ 其中$H_f({\mathit{x}}_0)$是$f$在${\mathit{x}}_0$处的Hesse矩阵。

应用 $\ln (1+x+y+z)$在原点附近的Taylor展开。

3.2.2 凹凸性

重要概念回顾

(1)

凸集、凸函数、严格凸函数。

(2)

凹函数、严格凹函数。

(3)

Hesse矩阵。

(4)

最大值、最大值点、最小值、最小值点。

(5)

极大值、极大值点、极小值、极小值点。

(6)

驻点：满足$\mathrm{\nabla }f({\mathit{x}}_0)=\mathbf{0}$的点${\mathit{x}}_0$。

重要定理回顾

(1)

设$f:D\to \mathbb{R}\in {\mathcal{C}}^2$，则$\mathrm{\forall }\mathit{x}\in D$，

• $H_f(\mathit{x})$正定$⟹f$严格凸；$f$凸$⟹H_f(\mathit{x})$半正定；
• $H_f(\mathit{x})$负定$⟹f$严格凹；$f$凹$⟹H_f(\mathit{x})$半负定。

(2)

设$f:D\to \mathbb{R}\in {\mathcal{C}}^2$凸，则$$\begin{array}{}\text{(5)}& f(\mathit{x})\ge f({\mathit{x}}_0)+\partial f({\mathit{x}}_0)(\mathit{x}-{\mathit{x}}_0),\mathrm{\forall }{\mathit{x}}_0,\mathit{x}\in D\end{array}$$

(3)

Fermat引理：设$f$在极值点处可微，则${\mathit{x}}_0$是$f$的驻点。

(4)

极值判定：设$f:D\to \mathbb{R}\in {\mathcal{C}}^2$，${\mathit{x}}_0$是$f$的驻点。

• 若$H_f({\mathit{x}}_0)$正（负）定，则${\mathit{x}}_0$是$f$的极小（大）值点。
• 若$H_f({\mathit{x}}_0)$非退化且既不正定也不负定，则${\mathit{x}}_0$是$f$的鞍点。
• 若$H_f({\mathit{x}}_0)$退化，则需要进一步判断，如更高阶的Taylor展开等。

(5)

条件极值：设$f,g_1,\cdots ,g_r\in {\mathcal{C}}^1$，${\mathit{x}}^{\ast }$为$f$在约束$g_1=\cdots =g_r=0$下的条件极值点，则存在${\lambda }_1,\cdots ,{\lambda }_r\in \mathbb{R}$使得$({\mathit{x}}^{\ast },{\lambda }_1,\cdots ,{\lambda }_r)$是$F:(\mathit{x},{\lambda }_1,\cdots ,{\lambda }_r)\mapsto f(\mathit{x})-\sum _{i=1}^r{\lambda }_i{g}_i(\mathit{x})$的驻点，亦即$$\begin{array}{}\text{(6)}& \mathrm{\nabla }f({\mathit{x}}^{\ast })=\sum _{i=1}^r{\lambda }_i\mathrm{\nabla }{g}_i({\mathit{x}}^{\ast })\end{array}$$

(6)

条件极值判定：设$({\mathit{x}}^{\ast },{\mathit{\lambda }}^{\ast })$为$F$的驻点。

• 若$F$在$({\mathit{x}}^{\ast },{\mathit{\lambda }}^{\ast })$处的Hesse矩阵$H$限制在切空间${\mathrm{T}}_{{\mathit{x}}^{\ast }}(\mathrm{\Sigma })$上正定，亦即$$\begin{array}{}\text{(7)}& ⟨\mathit{v},H\mathit{v}⟩>0,\mathrm{\forall }\mathit{v}\in {\mathrm{T}}_{{\mathit{x}}^{\ast }}(\mathrm{\Sigma })\setminus \{\mathbf{0}\}\end{array}$$ 则${\mathit{x}}^{\ast }$是$f$在给定约束下的（严格）极小值点。
• 若限制在切空间上的$H$负定，则${\mathit{x}}^{\ast }$是$f$在给定约束下的（严格）极大值点。
• 若限制在切空间上的$H$非退化且既不正定也不负定，则${\mathit{x}}^{\ast }$是$f$在给定约束下的鞍点。
• 若限制在切空间上的$H$退化，则需要进一步判断。

应用

(1)

函数$f(x,y)=xy\ln (x^2+y^2)$（补充定义$f(0,0)=0$）的极值（点）、最值（点）。

(2)

方程$F(x,y,z)=x(1+yz)+\exp (x+y+z)-1=0$在原点附近确定了隐函数$z=f(x,y)$。

(3)

函数$f(x,y,z)=xy+yz+xz$在约束$x,y,z>0$且$xyz=1$下的条件极值。

注 与一元微积分不同的是，设$f:D\to \mathbb{R}$在$D\subseteq {\mathbb{R}}^n$上可微，${\mathit{x}}^{\ast }$是$f$的唯一驻点且为严格极小值点，则$f$不一定在${\mathit{x}}^{\ast }$处取得最小值；$f$甚至可能无下界，如$f(x,y)={\mathrm{e}}^{3x}+y^3-3y{\mathrm{e}}^x$。

3.2.3 *Hesse矩阵

我们已知$\mathrm{\nabla }$在任意基底下的表示，那么Hesse矩阵的表示又是怎样的呢？

注 此处的Hesse矩阵实际上是一个映射${\mathbb{R}}^n\to {\mathbb{R}}^n$，并不依赖于坐标系；出于习惯，我们仍称其为矩阵。在证明此式时，千万不能代入$\partial$和$\mathrm{\nabla }f$的分量表示，尤其是标准正交基——因为微分和梯度都是不依赖于坐标系的！

3.2.4 *Laplace算子(1)

在${\mathbb{R}}^n$的直角坐标系中，Laplace算子的定义为$$\begin{array}{}\text{(15)}& \mathrm{\Delta }=\sum _{i=1}^n\frac{{\partial }^2}{\partial x_i^2}\end{array}$$ 一种很自然的想法是猜测$$\begin{array}{}\text{(16)}& \mathrm{\Delta }f(\mathit{x})\stackrel{?}{=}\mathrm{tr}{H}_f(\mathit{x})\end{array}$$ 很可惜，这在绝大多数情况下是不正确的。我们来具体探讨它在什么情况下成立。

Laplace算子的标准定义为$$\begin{array}{}\text{(17)}& \mathrm{\Delta }f=\mathrm{div}\mathrm{grad}f\end{array}$$ 由于Laplace算子的定义涉及散度，我们将在后续章节中详细讨论，此处我们直接给出它的表达式：$$\begin{array}{}\text{(18)}& \mathrm{\Delta }f=\frac{1}{\sqrt{detG}}\frac{\partial }{\partial x^i}\left(\sqrt{detG}{g}^{ij}\frac{\partial f}{\partial x^j}\right)\end{array}$$ 根据先前的讨论，我们有$$\begin{array}{}\text{(19)}& [H_f(\mathit{v}){]}^k=[\partial (\mathrm{\nabla }f)(\mathit{v}){]}^k={\partial }_j(\mathrm{\nabla }{f}^k){\xi }^j={\partial }_j(g^{kl}{\partial }_{l}f){\xi }^j\end{array}$$ 计算可得$$\begin{array}{}\text{(20)}& ⟨\mathit{v},H_f(\mathit{v})⟩={\xi }^i⟨{\mathit{v}}_i,{\mathit{v}}_k⟩[H_f(\mathit{v}){]}^k={\xi }^i{g}_{ik}{\partial }_j(g^{kl}{\partial }_{l}f){\xi }^j⟹(H_f{)}_{ij}=g_{ik}{\partial }_j(g^{kl}{\partial }_{l}f)\end{array}$$ 因此$$\begin{array}{}\text{(21)}& \mathrm{tr}{H}_f=(H_f{)}_{ii}=g_{ik}{\partial }_i(g^{kl}{\partial }_{l}f)=g_{ik}\frac{\partial }{\partial x^i}\left(g^{kj}\frac{\partial f}{\partial x^j}\right)\end{array}$$ 对比$\mathrm{\Delta }f$和$\mathrm{tr}{H}_f$的表达式可得两者相等的充分条件：

• $detG$为常数，与$x^i$无关；
• $G$为单位矩阵，即$g_{ij}={\delta }_{ij}$。

以上两个条件限制$(x^1,\cdots ,x^n)$必须为直角坐标系的正交变换。

（未完待续）

3.2.5 *Euler-Lagrange方程

Euler-Lagrange方程是变分法的基础，它研究的是这样一类问题：

我们举一个简单的例子。