动态优化

5.5 动态优化

5.5.1 变分法

在静态优化问题中，我们研究的是目标函数在可行域中的最值问题，其中自变量是可行域中的点。在动态优化问题中，我们研究的仍然是最值问题，但是自变量不再是点、而是函数，亦即在某个函数空间中找到使得目标“函数”取最大值的函数。这种将函数映射为实数的映射称为泛函，动态优化问题也称为泛函优化问题。

定义 5.5.1 (泛函) 设 $Ω \subseteq R^{n}$ ， $F : Ω \to R$ 为某个函数空间，称映射 $J : F \to R$ 为泛函。

为了将函数映射为实数，泛函通常以积分的形式呈现。我们首先给出最常见的动态优化问题的定义：

定义 5.5.2 (动态优化) 动态优化问题是指求解 $\begin{matrix} (1) & max_{x \in F} J [x] s.t. x (a) = x_{a}, x (b) = x_{b} \end{matrix}$ 其中 $\begin{matrix} (2) & J [x] := \int_{a}^{b} L (t, x (t), \dot{x} (t)) d t \end{matrix}$ 为目标泛函， $x (a), x (b)$ 为边界条件。

解决该类问题的基本方法是变分法，其核心思想是：假设 $x^{*}$ 为最优解，考虑在 $x^{*}$ 附近的函数 $x = x^{*} + ε h$ ，其中 $ε$ 为足够小的正数， $h$ 为任意满足边界条件的扰动函数，即 $\begin{matrix} (3) & h \in H := {h = \tilde{x} - x ∣ x, \tilde{x} \in F} \end{matrix}$ 对于本例而言，实际上有 $H := {h \in F ∣ h (a) = h (b) = 0}$ 。考虑扰动后的目标泛函 $\begin{matrix} (4) & F (ε) := J [x^{*} + ε h] = \int_{a}^{b} L (t, x^{*} (t) + ε h (t), {\dot{x}}^{*} (t) + ε \dot{h} (t)) d t \end{matrix}$ 对 $ε$ 求导可得 $\begin{matrix} (5) & \frac{d F}{d ε} = \int_{a}^{b} [\frac{\partial L}{\partial x} h (t) + \frac{\partial L}{\partial \dot{x}} \dot{h} (t)] d t \end{matrix}$

为了消除 $\dot{h}$ ，我们对上式中的第二项进行分部积分，结合边界条件 $h (a) = h (b) = 0$ 可得 $\begin{matrix} (6) & \int_{a}^{b} \frac{\partial L}{\partial \dot{x}} \dot{h} (t) d t = {\frac{\partial L}{\partial \dot{x}} h (t) |}_{a}^{b} - \int_{a}^{b} \frac{d}{d t} (\frac{\partial L}{\partial \dot{x}}) h (t) d t = - \int_{a}^{b} \frac{d}{d t} (\frac{\partial L}{\partial \dot{x}}) h (t) d t \end{matrix}$ 代入原式可得 $\begin{matrix} (7) & \frac{d F}{d ε} = \int_{a}^{b} {[\frac{\partial L}{\partial x} - \frac{d}{d t} (\frac{\partial L}{\partial \dot{x}})]}_{x = x^{*} + ε h} h (t) d t \end{matrix}$

令 $ε = 0$ 可得 $\begin{matrix} (8) & {\frac{d F}{d ε} |}_{ε = 0} = \int_{a}^{b} {[\frac{\partial L}{\partial x} - \frac{d}{d t} (\frac{\partial L}{\partial \dot{x}})]}_{x = x^{*}} h (t) d t \end{matrix}$ 由于 $x^{*}$ 为最优解，故 $J [x + ε h]$ 在 $ε = 0$ 处取得极大值，亦即 $F$ 在 $ε = 0$ 处取得极大值，由此可得 $\begin{matrix} (9) & \int_{a}^{b} {[\frac{\partial L}{\partial x} - \frac{d}{d t} (\frac{\partial L}{\partial \dot{x}})]}_{x = x^{*}} h (t) d t = 0, \forall h \in H \end{matrix}$ 结合 $h$ 的任意性，可得著名的Euler-Lagrange方程，即动态优化问题的一阶必要条件：

定理 5.5.3 (Euler-Lagrange方程) 设 $x^{*}$ 为动态优化问题的最优解，则 $x^{*}$ 满足Euler-Lagrange方程 $\begin{matrix} (10) & {[\frac{\partial L}{\partial x} - \frac{d}{d t} (\frac{\partial L}{\partial \dot{x}})]}_{x = x^{*}} = 0 \end{matrix}$

为了更好地应用变分法，我们引入变分的概念，即满足边界条件的函数值的微小变化（扰动函数），定义为

定义 5.5.4 (变分) 设函数 $x, \tilde{x} \in F$ 均满足某边界条件，称 $δ x (t) := \tilde{x} (t) - x (t) \in H$ 为 $x (t)$ 的变分。

在上例中，

δ x (t) = h (t)

即为

x (t)

的变分，满足

δ x (a) = δ x (b) = 0

。类似微分

\begin{matrix} (11) & d J (x, d x) = J^{'} (x) d x = lim_{Δ x \to 0} \frac{J (x + Δ x) - J (x)}{Δ x} d x \overset{Δ x = ε d x}{=} lim_{ε \to 0} \frac{J (x + ε d x) - J (x)}{ε} \end{matrix}

泛函

J [x]

的变分定义为

定义 5.5.5 设 $J : F \to R$ 为泛函， $x \in F$ 的变分为 $δ x \in H$ ，称 $\begin{matrix} (12) & δ J [x, δ x] := lim_{ε \to 0} \frac{J [x + ε δ x] - J [x]}{ε} = {\frac{d}{d ε} J [x + ε δ x] |}_{ε = 0} = \frac{\partial J}{\partial x} [x] δ x \end{matrix}$ 为 $J [x]$ 的变分。在不引起歧义的情况下，通常可以省略 $[x, δ x]$ 。

对于多元泛函而言，容易证明 $\begin{matrix} (13) & δ J [x_{1}, \dots, x_{n}, δ x_{1}, \dots, δ x_{n}] = \sum_{i = 1}^{n} \frac{\partial J}{\partial x_{i}} [x_{1}, \dots, x_{n}] δ x_{i} \end{matrix}$ 需要特别注意的是， $δ x$ 和 $δ \dot{x}$ 通常视作两个独立的变分。可以证明，变分具有以下性质：

定理 5.5.6 (变分的性质)

(1): $δ c = 0$ ，其中 $c$ 为常数。
(2): $\forall α, β \in R$ ， $δ (α J_{1} + β J_{2}) = α δ J_{1} + β δ J_{2}$ 。
(3): $δ (J_{1} J_{2}) = J_{1} δ J_{2} + J_{2} δ J_{1}$ 。
(4): $δ (\frac{J_{1}}{J_{2}}) = \frac{J_{2} δ J_{1} - J_{1} δ J_{2}}{J_{2}^{2}}$ ，其中 $J_{2} \neq 0$ 。
(5): 变分与微分可交换，即 $δ (d J) = d (δ J)$ ，由此可得 $\begin{matrix} (14) & δ (\frac{d x}{d t}) = \frac{d (δ x)}{d t} \end{matrix}$ 上式常用于变分法的分部积分中。
(6): 变分与（定限）积分可交换，即 $\begin{matrix} (15) & δ (\int_{a}^{b} J [x (t)] d t) = \int_{a}^{b} δ J [x (t)] d t \end{matrix}$

对于上例中的动态优化问题，我们可以用变分重新推导Euler-Lagrange方程： $\begin{matrix} (16) & \begin{aligned} δ J [x, δ x] & = δ \int_{a}^{b} L (t, x (t), \dot{x} (t)) d t = \int_{a}^{b} δ L (t, x (t), \dot{x} (t)) d t \\ = \int_{a}^{b} [\frac{\partial L}{\partial x} δ x (t) + \frac{\partial L}{\partial \dot{x}} δ \dot{x} (t)] d t = \int_{a}^{b} [\frac{\partial L}{\partial x} δ x (t) + \frac{\partial L}{\partial \dot{x}} \frac{d (δ x (t))}{d t}] d t \\ = \int_{a}^{b} \frac{\partial L}{\partial x} δ x (t) d t + {\frac{\partial L}{\partial \dot{x}} δ x (t) |}_{a}^{b} - \int_{a}^{b} \frac{d}{d t} (\frac{\partial L}{\partial \dot{x}}) δ x (t) d t \\ = \int_{a}^{b} [\frac{\partial L}{\partial x} - \frac{d}{d t} (\frac{\partial L}{\partial \dot{x}})] δ x (t) d t \end{aligned} \end{matrix}$ 当 $x^{*}$ 为 $J$ 的极大（小）值时，在 $x^{*}$ 的邻域内应成立 $δ J [x^{*}, δ x] \leq 0 (\geq 0)$ ，其中 $δ x$ 为满足边界条件的任意变分。不妨设 $x^{*}$ 为 $J$ 的极大值点（否则考虑 $- J$ ），设 $ε > 0$ ，取特殊的 $δ x$ 可得 $\begin{matrix} (17) & δ x = ε {[\frac{\partial L}{\partial x} - \frac{d}{d t} (\frac{\partial L}{\partial \dot{x}})]}_{x = x^{*}} ⟹ δ J [x^{*}, δ x] = ε \int_{a}^{b} {[\frac{\partial L}{\partial x} - \frac{d}{d t} (\frac{\partial L}{\partial \dot{x}})]}_{x = x^{*}}^{2} d t \leq 0 \end{matrix}$ 因此 $\begin{matrix} (18) & {[\frac{\partial L}{\partial x} - \frac{d}{d t} (\frac{\partial L}{\partial \dot{x}})]}_{x = x^{*}} = 0 \end{matrix}$

我们再介绍两个经典的例子。

例 5.5.7 (两点之间线段最短) 设平面上两点 $A (x_{a}, y_{a}), B (x_{b}, y_{b})$ ，求连接 $A, B$ 的线段中长度最短的 $C^{1}$ 曲线。

解设曲线方程为 $y = y (x)$ ，则曲线长度为 $\begin{matrix} (19) & S [y] = \int_{x_{a}}^{x_{b}} \sqrt{1 + {(\frac{d y}{d x})}^{2}} d x =: \int_{x_{a}}^{x_{b}} L (y, y^{'}) d x \end{matrix}$ 由Euler-Lagrange方程可得 $\begin{matrix} (20) & \frac{\partial L}{\partial y} - \frac{d}{d x} (\frac{\partial L}{\partial y^{'}}) = 0 ⟹ - \frac{d}{d x} (\frac{y^{'}}{\sqrt{1 + y^{' 2}}}) = 0 \end{matrix}$ 故 $\frac{y^{'}}{\sqrt{1 + y^{' 2}}} = C$ ，其中 $C$ 为常数。解得 $y^{'} = k$ ，其中 $k$ 为常数，故最短曲线为直线段。 $◻$

例 5.5.8 (最速降线) 设平面上两点 $A (l, h), B (0, 0)$ ，求连接 $A, B$ 的曲线，使得质点在重力作用下沿该曲线从 $A$ 到 $B$ 所需时间最短。

解设曲线方程为 $y = y (x)$ ，则质点在曲线上的速度为 $\begin{matrix} (21) & v = \sqrt{2 g y} = \frac{d s}{d t} = \frac{\sqrt{1 + y^{' 2}}}{\frac{d t}{d x}} ⟹ \frac{d t}{d x} = \frac{\sqrt{1 + y^{' 2}}}{\sqrt{2 g y}} \end{matrix}$ 故质点从 $A$ 到 $B$ 所需时间为 $\begin{matrix} (22) & T [y] = \int_{0}^{l} \frac{\sqrt{1 + y^{' 2}}}{\sqrt{2 g y}} d x =: \int_{0}^{l} L (y, y^{'}) d x \end{matrix}$ 由于 $L$ 不显含 $x$ ，由Euler-Lagrange方程可得 $\begin{matrix} (23) & \frac{\partial L}{\partial y} - \frac{d}{d x} (\frac{\partial L}{\partial y^{'}}) = \frac{\partial L}{\partial y} - \frac{d y}{d x} \frac{\partial}{\partial y} (\frac{\partial L}{\partial y^{'}}) = \frac{\partial}{\partial y} (L - y^{'} \frac{\partial L}{\partial y^{'}}) = 0 \end{matrix}$ 故有 $\begin{matrix} (24) & L - y^{'} \frac{\partial L}{\partial y^{'}} = \frac{\sqrt{1 + y^{' 2}}}{\sqrt{2 g y}} - y^{'} \cdot \frac{y^{'}}{\sqrt{2 g y (1 + y^{' 2})}} = \frac{1}{\sqrt{2 g y (1 + y^{' 2})}} = C \end{matrix}$ 其中 $C$ 为常数，解得 $\begin{matrix} (25) & y (1 + y^{' 2}) = k, k = \frac{1}{2 g C^{2}} ⟹ \frac{d y}{d x} = \pm \sqrt{\frac{k}{y} - 1} ⟹ x = \pm \int \sqrt{\frac{y}{k - y}} d y \end{matrix}$ 作变量代换 $y = k \sin^{2} \frac{θ}{2}$ ，则有 $\begin{matrix} (26) & \begin{aligned} x & = \pm k \int \sin^{2} \frac{θ}{2} d θ = \pm k (\frac{θ}{2} - \frac{\sin θ}{2}) + C_{1} \\ y & = k \sin^{2} \frac{θ}{2} = \frac{k}{2} (1 - \cos θ) \end{aligned} \end{matrix}$ 其中 $C_{1}$ 为常数。取正号并结合边界条件可得 $\begin{matrix} (27) & {\begin{cases} x = \frac{k}{2} (θ - \sin θ) \\ y = \frac{k}{2} (1 - \cos θ) \end{cases} θ \in [0, θ_{a}], {\begin{cases} l = \frac{k}{2} (θ_{a} - \sin θ_{a}) \\ h = \frac{k}{2} (1 - \cos θ_{a}) \end{cases} \end{matrix}$ 上式即为最速降线的参数方程，其为摆线的一部分。 $◻$

5.5.2 动态系统

动态系统的最优控制问题是指在动态系统的约束下，求解某个目标泛函的最优值。我们首先给出动态系统的定义：

定义 5.5.9 (动态系统) 设 $Ω \subseteq R^{n}$ ， $U \subseteq R^{m}$ ，随时间演化的（一阶）动态系统由以下部分组成：

1.: 时间 $t \in [0, T]$ 。
2.: 状态空间 $Ω \subseteq R^{n}$ 非空、状态变量 $x (t) \in Ω$ 以及初始状态 $x (0) = x_{0}$ 。
3.: 控制空间 $U \subseteq R^{m}$ 非空、控制变量 $u (t) \in U$ 。
4.: 由当前状态和控制变量决定的（一阶）状态方程 $\begin{matrix} (28) & \dot{x} (t) = f (t, x (t), u (t)), x (t) \in Ω, u (t) \in U \end{matrix}$ 其中 $f : [0, T] \times Ω \times U \to R^{n}$ 称为系统的动力学函数，满足 $f, \frac{\partial f}{\partial x}$ 均连续。

控制变量的含义是每个时刻能施加到系统上的可控量（油门、推力、转矩、舵角、施加电压、消费率……）。动态系统的目标泛函通常不仅与系统演化的过程 $x (t)$ 与控制变量 $u (t)$ 有关，还与系统的终端状态 $x (T)$ 有关，形式为：

定义 5.5.10 (目标泛函) 设动态系统由 $(Ω, U, f, x_{0}, T)$ 组成，定义其目标泛函为 $\begin{matrix} (29) & J [x, u, T] = Φ (x (T), T) + \int_{0}^{T} L (t, x (t), u (t)) d t \end{matrix}$ 其中 $L : [0, T] \times Ω \times U \to R$ 为运行成本函数， $Φ : Ω \times [0, T] \to R$ 为终端成本函数，满足 $L, Φ$ 及其对 $x$ 的一阶偏导数均连续。

动态系统的目标是通过调节控制变量 $u (t)$ ，使得系统状态 $x (t)$ 沿着某条最优轨迹演化，从而使得某个目标泛函取得最优值。动态系统的最优控制问题定义如下：

定义 5.5.11 (最优控制问题) 设动态系统由 $(Ω, U, f, x_{0}, T)$ 组成，动态系统的最优控制问题是指求解 $\begin{matrix} (30) & max_{u \in U} J [x, u, T], s.t. \dot{x} (t) = f (t, x (t), u (t)), x (0) = x_{0}, t \in [0, T] \end{matrix}$

最优控制问题的一阶必要条件由Pontryagin极大值原理给出：

定理 5.5.12 (一阶必要条件·Pontryagin极大值原理) 设 $(x^{*} (t), u^{*} (t))$ 为动态系统的最优解，定义系统的Hamilton函数为 $\begin{matrix} (31) & H (t, x, u, λ) = L (t, x, u) + λ \cdot f (t, x, u) \end{matrix}$ 其中 $λ (t) \in R^{n}$ 为伴随变量，则存在伴随变量 $λ^{*} (t)$ ，使得 $\forall t \in [0, T]$ ，成立

1.

状态方程： $\begin{matrix} (32) & {\dot{x}}^{*} (t) = \frac{\partial H}{\partial λ} (t, x^{*} (t), u^{*} (t), λ^{*} (t)) = f (t, x^{*} (t), u^{*} (t)) \end{matrix}$

2.

伴随方程： $\begin{matrix} (33) & {\dot{λ}}^{*} (t)^{T} = - \frac{\partial H}{\partial x} (t, x^{*} (t), u^{*} (t), λ^{*} (t)) = - \frac{\partial L}{\partial x} (t, x^{*} (t), u^{*} (t)) - λ^{*} (t)^{T} \frac{\partial f}{\partial x} (t, x^{*} (t), u^{*} (t)) \end{matrix}$

3.

驻点条件（极大值条件）： $\begin{matrix} (34) & H (t, x^{*} (t), u^{*} (t), λ^{*} (t)) = max_{u \in U} H (t, x^{*} (t), u, λ^{*} (t)) \end{matrix}$ 若 $U$ 为开集且 $H$ 关于 $u$ 可微，则驻点条件可推出 $\begin{matrix} (35) & \frac{\partial H}{\partial u} (t, x^{*} (t), u^{*} (t), λ^{*} (t)) = 0 \end{matrix}$

4.

终端条件（横截性条件）：取决于终端时间 $T$ 和终端状态 $x (T)$ 是否自由，具体如下：

若 $T$ 自由，则需补充 $\begin{matrix} (36) & \frac{\partial Φ}{\partial T} (x^{*} (T), T) + H (T, x^{*} (T), u^{*} (T), λ^{*} (T)) = 0 \end{matrix}$ $T$ 完全自由意味着 $Φ$ 不显含 $T$ ，因此上式化简为 $H (T, x^{*} (T), u^{*} (T), λ^{*} (T)) = 0$ 。
若 $x_{i} (T)$ 自由，则需补充 $\begin{matrix} (37) & λ_{i}^{*} (T) = \frac{\partial Φ}{\partial x_{i}} (x^{*} (T), T) \end{matrix}$ $x_{i} (T)$ 完全自由意味着 $Φ$ 不显含 $x_{i} (T)$ ，因此上式化简为 $λ_{i}^{*} (T) = 0$ 。
若 $x_{i} (T)$ 满足不等式约束 $x_{i} (T) \geq c$ ，则需补充互补松弛条件 $\begin{matrix} (38) & λ_{i}^{*} (T) \geq \frac{\partial Φ}{\partial x_{i}} (x^{*} (T), T), [λ_{i}^{*} (T) - \frac{\partial Φ}{\partial x_{i}} (x^{*} (T), T)] (x_{i}^{*} (T) - c) = 0 \end{matrix}$
若 $T$ 固定或 $x_{i} (T)$ 满足等式约束 $x_{i} (T) = c$ （即 $x_{i} (T)$ 固定），则无需补充对应的终端条件。

证明考虑引入系统状态方程和伴随变量的增广泛函： $\begin{matrix} (39) & \tilde{J} [x, u, λ, T] = Φ (x (T), T) + \int_{0}^{T} [L (t, x (t), u (t)) + λ (t) \cdot (f (t, x (t), u (t)) - \dot{x} (t))] d t \end{matrix}$ 则应当有 $\begin{matrix} (40) & δ \tilde{J} [x^{*}, u^{*}, λ, T; δ x, δ u, δ λ, δ T] \leq 0, \forall λ, \forall δ x \in H, \forall δ u, \forall δ λ, \forall δ T \end{matrix}$

首先固定 $T$ 、认为 $x (T)$ 自由，计算 $\tilde{J}$ 的变分可得 $\begin{matrix} (41) & δ \tilde{J} = \frac{\partial Φ}{\partial x} (x (T), T) δ x (T) + \int_{0}^{T} [\frac{\partial L}{\partial x} δ x + \frac{\partial L}{\partial u} δ u + λ^{T} (\frac{\partial f}{\partial x} δ x + \frac{\partial f}{\partial u} δ u - δ \dot{x}) + δ λ^{T} (f - \dot{x})] d t \end{matrix}$ 其中 $x$ 的变分 $δ x$ 满足初始条件 $δ x (0) = 0$ 。利用分部积分法消去 $δ \dot{x}$ 可得 $\begin{matrix} (42) & \int_{0}^{T} λ^{T} δ \dot{x} d t = {λ^{T} δ x |}_{0}^{T} - \int_{0}^{T} {\dot{λ}}^{T} δ x d t = λ (T)^{T} δ x (T) - \int_{0}^{T} {\dot{λ}}^{T} δ x d t \end{matrix}$ 代入泛函的变分表达式中可得 $\begin{matrix} (43) & \begin{aligned} δ \tilde{J} & = \underset{终端条件}{\underset{⏟}{[\frac{\partial Φ}{\partial x} (x (T), T) - λ (T)^{T}]}} δ x (T) \\ + \int_{0}^{T} [\underset{伴随方程}{\underset{⏟}{(\frac{\partial L}{\partial x} + λ^{T} \frac{\partial f}{\partial x} + {\dot{λ}}^{T})}} δ x + \underset{驻点条件}{\underset{⏟}{(\frac{\partial L}{\partial u} + λ^{T} \frac{\partial f}{\partial u})}} δ u + \underset{状态方程}{\underset{⏟}{(f - \dot{x})^{T}}} δ λ] d t \leq 0 \end{aligned} \end{matrix}$ $\forall λ \in F$ ，取 $δ x, δ x (T), δ u, δ λ$ 分别为正数 $ε$ 乘以对应条件的表达式，可得各条件的表达式均为零，即 $\begin{matrix} (44) & {\begin{cases} {\dot{x}}^{*} (t) = f (t, x^{*} (t), u^{*} (t)) \\ {\dot{λ}}^{*} (t)^{T} = - \frac{\partial L}{\partial x} (t, x^{*} (t), u^{*} (t)) - λ^{*} (t)^{T} \frac{\partial f}{\partial x} (t, x^{*} (t), u^{*} (t)) \\ \frac{\partial L}{\partial u} (t, x^{*} (t), u^{*} (t)) + λ^{*} (t)^{T} \frac{\partial f}{\partial u} (t, x^{*} (t), u^{*} (t)) = 0 \\ λ^{*} (T)^{T} = \frac{\partial Φ}{\partial x} (x^{*} (T), T) \end{cases} \end{matrix}$

由于驻点条件并不能保证 $u^{*}$ 为最大值点，故需要进一步验证。严谨证明比较啰嗦，故仅在此叙述大致思路，详细证明参见附证。将增广泛函改写为Hamilton函数的形式，利用反证法：假设 $\exists t_{0}$ 使得 $u^{*} (t_{0})$ 并非最大值点，则可构造一个新的控制变量 $\tilde{u} (t)$ ，使得在 $t_{0}$ 处Hamilton函数取得更大值，从而使得增广泛函取得更大值，与最优解的假设矛盾。

若 $x_{i} (T)$ 满足等式约束 $x_{i} (T) = c$ （即 $x_{i} (T)$ 固定），则 $δ x_{i} (T) = 0$ ，对应的终端条件无需补充。

若 $x_{i} (T)$ 满足不等式约束 $x_{i} (T) \geq c$ ，令 $δ x_{i} (T)$ 以外的所有变分均为 $0$ ，则有 $\begin{matrix} (45) & δ \tilde{J} = - [λ_{i}^{*} (T) - \frac{\partial Φ}{\partial x_{i}} (x^{*} (T), T)] δ x_{i} (T) \leq 0 \end{matrix}$ 分两种情况讨论：

不起作用约束：若 $x_{i}^{*} (T) > c$ ，则 $δ x_{i} (T)$ 可取正负，故 $λ_{i}^{*} (T) = \frac{\partial Φ}{\partial x_{i}} (x^{*} (T), T)$ 。
起作用约束：若 $x_{i}^{*} (T) = c$ ，则 $δ x_{i} (T) \geq 0$ ，故 $λ_{i}^{*} (T) \geq \frac{\partial Φ}{\partial x_{i}} (x^{*} (T), T)$ 。

综上所述，需补充互补松弛条件： $\begin{matrix} (46) & λ_{i}^{*} (T) \geq \frac{\partial Φ}{\partial x_{i}} (x^{*} (T), T), [λ_{i}^{*} (T) - \frac{\partial Φ}{\partial x_{i}} (x^{*} (T), T)] (x_{i}^{*} (T) - c) = 0 \end{matrix}$

若 $T$ 自由，令 $J^{*}$ 为 $T$ 处目标泛函 $J$ 的极大值，则有 $\begin{matrix} (47) & J^{*} (T) = Φ (x^{*} (T), T) + \int_{0}^{T} [L (t, x^{*} (t), u^{*} (t)) + λ^{*} (t)^{T} (f (t, x^{*} (t), u^{*} (t)) - {\dot{x}}^{*} (t))] d t \end{matrix}$ 由此得到关于 $T$ 的一元函数，求导可得 $\begin{matrix} (48) & \begin{aligned} \frac{d J^{*}}{d T} & = \frac{\partial Φ}{\partial x} (x^{*} (T), T) {\dot{x}}^{*} (T) + \frac{\partial Φ}{\partial T} (x^{*} (T), T) \\ + L (T, x^{*} (T), u^{*} (T)) + λ^{*} (T)^{T} (f (T, x^{*} (T), u^{*} (T)) - {\dot{x}}^{*} (T)) \end{aligned} \end{matrix}$ 利用终端条件可将上式化简为 $\begin{matrix} (49) & \begin{aligned} \frac{d J^{*}}{d T} & = \frac{\partial Φ}{\partial T} (x^{*} (T), T) + L (T, x^{*} (T), u^{*} (T)) + λ^{*} (T)^{T} f (T, x^{*} (T), u^{*} (T)) \\ = \frac{\partial Φ}{\partial T} (x^{*} (T), T) + H (T, x^{*} (T), u^{*} (T), λ^{*} (T)) \end{aligned} \end{matrix}$ 由于 $T$ 为极大值点，故 $\frac{d J^{*}}{d T} = 0$ ，由此可得自由终端时间的横截性条件。 $◻$

附证(极大值条件) 增广泛函可改写为 $\begin{matrix} (50) & \tilde{J} = Φ (x (T), T) - \int_{0}^{T} λ (t)^{T} \dot{x} (t) d t + \int_{0}^{T} H (t, x (t), u (t), λ (t)) d t \end{matrix}$ 代入 $x = x^{*}$ 、 $λ = λ^{*}$ ，分别代入 $u, u^{*}$ ，由于 $(x^{*} (t), u^{*} (t))$ 为动态系统的最优解，故有 $\begin{matrix} (51) & \tilde{J} [x^{*}, u, λ^{*}, T] - \tilde{J} [x^{*}, u^{*}, λ^{*}, T] = \int_{0}^{T} [H (t, x^{*} (t), u (t), λ^{*} (t)) - H (t, x^{*} (t), u^{*} (t), λ^{*} (t))] d t \leq 0 \end{matrix}$ 采用反证法：假设 $\exists t_{0} \in [0, T]$ 、 $\exists \tilde{u} \in U$ 使得 $\begin{matrix} (52) & ε := H (t_{0}, x^{*} (t_{0}), \tilde{u} (t_{0}), λ^{*} (t_{0})) - H (t_{0}, x^{*} (t_{0}), u^{*} (t_{0}), λ^{*} (t_{0})) > 0 \end{matrix}$ 由于 $H$ 、 $\tilde{u}, u^{*}$ 均关于其自变量连续，故存在足够小的正数 $δ_{t}$ ，使得 $\begin{matrix} (53) & \begin{aligned} | t - t_{0} | < δ_{t} & ⟹ {\begin{cases} H (t, x^{*} (t), \tilde{u} (t), λ^{*} (t)) > H (t_{0}, x^{*} (t_{0}), \tilde{u} (t_{0}), λ^{*} (t_{0})) - \frac{ε}{3} \\ H (t, x^{*} (t), u^{*} (t), λ^{*} (t)) < H (t_{0}, x^{*} (t_{0}), u^{*} (t_{0}), λ^{*} (t_{0})) + \frac{ε}{3} \end{cases} \\ ⟹ H (t, x^{*} (t), \tilde{u} (t), λ^{*} (t)) - H (t, x^{*} (t), u^{*} (t), λ^{*} (t)) > \frac{ε}{3} \end{aligned} \end{matrix}$ 令 $\begin{matrix} (54) & u (t) = {\begin{cases} \tilde{u} (t), & t \in [t_{0} - δ_{t}, t_{0} + δ_{t}] \\ u^{*} (t), & otherwise \end{cases} \end{matrix}$ 则 $\begin{matrix} (55) & \begin{aligned} 0 & \geq \int_{0}^{T} [H (t, x^{*} (t), u (t), λ^{*} (t)) - H (t, x^{*} (t), u^{*} (t), λ^{*} (t))] d t \\ = \int_{t_{0} - δ_{t}}^{t_{0} + δ_{t}} [H (t, x^{*} (t), \tilde{u} (t), λ^{*} (t)) - H (t, x^{*} (t), u^{*} (t), λ^{*} (t))] d t \geq \frac{ε}{3} \cdot 2 δ_{t} > 0 \end{aligned} \end{matrix}$ 矛盾！因此 $u^{*}$ 为最大值点。 $◻$

注若令 $u = \dot{x}$ ，则动态系统的最优控制问题可退化为动态优化问题，从而Pontryagin极大值原理退化为Euler-Lagrange方程。

以上定理给出最优控制问题的一阶必要条件。若Hamilton函数 $H$ 关于控制变量 $u$ 严格凹，则驻点条件也是充分条件，即驻点即为最大值点。

定理 5.5.13 (一阶充分条件) 设 $(x^{*} (t), u^{*} (t), λ^{*} (t))$ 满足Pontryagin极大值原理中的状态方程、伴随方程、驻点条件和终端条件，且动态系统满足：

终端时间 $T$ 固定。
Hamilton函数 $H (t, x, u, λ^{*} (t))$ 关于联合变量 $(x, u)$ 凹。
终端成本函数 $Φ (x, T)$ 关于 $x$ 凹。

则 $(x^{*} (t), u^{*} (t))$ 为动态系统的最优解。

证明泛函可改写为 $\begin{matrix} (56) & \begin{aligned} J & = Φ (x (T), T) + \int_{0}^{T} [H (t, x (t), u (t), λ^{*} (t)) - λ^{*} (t)^{T} \dot{x} (t)] d t \\ = Φ (x (T), T) - λ^{*} (T)^{T} x (T) + \int_{0}^{T} [H (t, x (t), u (t), λ^{*} (t)) + {\dot{λ}}^{*} (t)^{T} x (t)] d t \end{aligned} \end{matrix}$ 代入伴随方程、终端条件可得 $\begin{matrix} (57) & J = Φ (x (T), T) - \frac{\partial Φ}{\partial x} (x (T), T) x (T) + \int_{0}^{T} [H (t, x (t), u (t), λ^{*} (t)) - \frac{\partial H}{\partial x} (t, x (t), u (t), λ^{*} (t)) x (t)] d t \end{matrix}$ 由于 $H$ 关于 $(x, u)$ 凹， $Φ$ 关于 $x$ 凹，故成立 $\begin{matrix} (58) & \begin{aligned} H (t, x, u, λ^{*}) & \leq H (t, x^{*}, u^{*}, λ^{*}) + \frac{\partial H}{\partial x} (t, x^{*}, u^{*}, λ^{*}) (x - x^{*}) + \frac{\partial H}{\partial u} (t, x^{*}, u^{*}, λ^{*}) (u - u^{*}) \\ Φ (x (T), T) & \leq Φ (x^{*} (T), T) + \frac{\partial Φ}{\partial x} (x^{*} (T), T) (x (T) - x^{*} (T)) \end{aligned} \end{matrix}$ 代入驻点条件，变形可得 $\begin{matrix} (59) & \begin{aligned} H (t, x, u, λ^{*}) - \frac{\partial H}{\partial x} (t, x, u, λ^{*}) x & \leq H (t, x^{*}, u^{*}, λ^{*}) - \frac{\partial H}{\partial x} (t, x^{*}, u^{*}, λ^{*}) x^{*} \\ Φ (x (T), T) - \frac{\partial Φ}{\partial x} (x (T), T) x (T) & \leq Φ (x^{*} (T), T) - \frac{\partial Φ}{\partial x} (x^{*} (T), T) x^{*} (T) \end{aligned} \end{matrix}$ 代入泛函表达式中可得 $J \leq J^{*}$ ，其中 $J^{*}$ 为 $(x^{*} (t), u^{*} (t))$ 处的目标泛函值，故 $(x^{*} (t), u^{*} (t))$ 为动态系统的最优解。 $◻$

注若终端时间不固定，可通过重参数化将问题转化为固定终端时间的问题，从而应用上述充分条件。