最优控制

5.6 最优控制

5.6.1 动态系统

动态系统的最优控制问题是指在动态系统的约束下，求解某个目标泛函的最优值。我们首先给出动态系统的定义⁷：

定义 5.6.1 (动态系统) 设 $Ω \subseteq R^{n}$ ， $U \subseteq R^{m}$ ，记 $B^{A} = {f : A \to B}$ ，随时间演化的（一阶）动态系统由以下部分组成：

1.: 时间 $t \in T = [t_{0}, + \infty)$ 。
2.: 状态空间 $Ω \subseteq R^{n}$ 非空、开，状态变量 $x \in Ω^{T}$ 以及初始状态 $x (t_{0}) = x_{0}$ 。
3.: 控制空间 $U \subseteq R^{m}$ 非空，控制变量 $u \in U^{T}$ 。
4.: 由当前状态和控制变量决定的（一阶）状态方程 $\begin{matrix} (1) & \dot{x} (t) = f (t, x, u), x \in Ω^{T}, u \in U^{T}, t \in T \end{matrix}$ 其中 $f : T \times Ω^{T} \times U^{T} \to R^{n}$ 称为系统的动力学函数，满足 $f, \frac{\partial f}{\partial x}$ 均连续。

控制变量的含义是每个时刻能施加到系统上的可控量（油门、推力、转矩、舵角、施加电压、消费率……）。动态系统的目标泛函通常不仅与系统演化的过程 $x (t)$ 与控制变量 $u (t)$ 有关，还与系统的终端状态 $x_{f} := x (t_{f})$ 有关，形式为：

定义 5.6.2 (目标泛函) 设动态系统由 $(T, Ω, U, f, x_{0})$ 组成，定义其目标泛函为 $\begin{matrix} (2) & J [x, u, t_{f}, x_{f}] := Φ (t_{f}, x_{f}) + \int_{t_{0}}^{t_{f}} L (t, x, u) d t \end{matrix}$ 其中 $t_{f}$ 为终端时间、 $x_{f} := x (t_{f})$ 为终端状态， $L : T \times Ω^{T} \times U^{T} \to R$ 为运行成本函数， $Φ : T \times Ω \to R$ 为终端成本函数，满足 $L, \frac{\partial L}{\partial x}$ 以及 $Φ, \frac{\partial Φ}{\partial t}, \frac{\partial Φ}{\partial x}$ 均连续。

动态系统的目标是通过调节控制变量 $u (t)$ ，使得系统状态 $x (t)$ 沿着某条最优轨迹演化，从而使得某个目标泛函取得最优值。动态系统的最优控制问题定义如下：

定义 5.6.3 (最优控制问题) 设动态系统由 $(T, Ω, U, f, x_{0})$ 组成，动态系统的最优控制问题是指求解 $\begin{matrix} (3) & max_{u \in U^{T}} J [x, u, t_{f}, x_{f}], s.t. \dot{x} (t) = f (t, x, u), x (t_{0}) = x_{0}, t \in T \end{matrix}$

5.6.2 Pontryagin极大值原理

在分析最优控制问题的一阶必要条件前，我们首先给出全变分公式：

引理 5.6.4 (全变分公式) 终端状态 $x_{f} = x (t_{f})$ 的变分为 $\begin{matrix} (4) & δ x_{f} = \dot{x} (t_{f}) δ t_{f} + δ x (t_{f}) \end{matrix}$

证明利用定义可得 $\begin{matrix} (5) & \begin{aligned} δ x_{f} & = \frac{d}{d ε} {[(x + ε δ x) (t_{f} + ε δ t_{f})]}_{ε = 0} = lim_{ε \to 0} \frac{(x + ε δ x) (t_{f} + ε δ t_{f}) - x (t_{f})}{ε} \\ = lim_{ε \to 0} \frac{x (t_{f} + ε δ t_{f}) - x (t_{f})}{ε} + lim_{ε \to 0} δ x (t_{f} + ε δ t_{f}) = \dot{x} (t_{f}) δ t_{f} + δ x (t_{f}) \end{aligned} \end{matrix}$ $◻$

注全变分公式的本质为：终端状态的改变 $δ x_{f}$ 同时依赖于状态本身的改变 $δ x (t_{f})$ 和取值时刻的改变 $δ t_{f}$ ，所以当 $t_{f}$ 变化时， $x_{f}$ 会多出一项由时间平移导致的变化。

最优控制问题的一阶必要条件由Pontryagin极大值原理给出：

定理 5.6.5 (一阶必要条件·Pontryagin极大值原理) 设 $(x^{*}, u^{*}, t_{f}^{*}, x_{f}^{*})$ 为动态系统的（局部）最优解，定义系统的Hamilton函数为 $\begin{matrix} (6) & H (t, x, u, p) := L (t, x, u) + p (t) \cdot f (t, x, u) \end{matrix}$ 其中 $p : R \to R^{n}$ 为伴随变量，则存在 $p^{*}$ 使得

1.

状态方程： $\begin{matrix} (7) & {\dot{x}}^{*} (t)^{T} = \frac{\partial H}{\partial p} (t, x^{*}, u^{*}, p^{*}) = f (t, x^{*}, u^{*})^{T}, \forall t \in T \end{matrix}$

2.

伴随方程： $\begin{matrix} (8) & {\dot{p}}^{*} (t)^{T} = - \frac{\partial H}{\partial x} (t, x^{*}, u^{*}, p^{*}) = - \frac{\partial L}{\partial x} (t, x^{*}, u^{*}) - p^{*} (t)^{T} \frac{\partial f}{\partial x} (t, x^{*}, u^{*}), \forall t \in T \end{matrix}$

3.

驻点条件（最大值条件）： $\begin{matrix} (9) & H (t, x^{*}, u, p^{*}) \leq H (t, x^{*}, u^{*}, p^{*}), \forall u \in U, \forall t \in T \end{matrix}$ 若 $U$ 为开集且 $H$ 关于 $u$ 可微，则驻点条件可推出 $\begin{matrix} (10) & \frac{\partial H}{\partial u} (t, x^{*}, u^{*}, p^{*}) = 0, \forall t \in T \end{matrix}$

4.

终端条件（横截性条件）·时间部分：取决于终端时间 $t_{f}$ 是否自由，具体如下：

若 $t_{f}$ 固定为 $t_{f}^{*}$ ，则无需补充对应的终端条件。
若 $t_{f}$ 自由，则终端时间 $t_{f}^{*}$ 应当满足 $\begin{matrix} (11) & \frac{\partial Φ}{\partial t} (t_{f}^{*}, x_{f}^{*}) + H (t_{f}^{*}, x^{*}, u^{*}, p^{*}) = 0 \end{matrix}$ $t_{f}$ 完全自由意味着 $Φ$ 不显含 $t_{f}$ ，因此上式化简为 $H (t_{f}^{*}, x^{*}, u^{*}, p^{*}) = 0$ 。
若 $t_{f}$ 半自由，满足不等式约束 $t_{f} \leq t_{m}$ ，则需补充关于 $t_{f}^{*}$ 的互补松弛条件 $\begin{matrix} (12) & \frac{\partial Φ}{\partial t} (t_{f}^{*}, x_{f}^{*}) + H (t_{f}^{*}, x^{*}, u^{*}, p^{*}) \geq 0, [\frac{\partial Φ}{\partial t} (t_{f}^{*}, x_{f}^{*}) + H (t_{f}^{*}, x^{*}, u^{*}, p^{*})] (t_{m} - t_{f}^{*}) = 0 \end{matrix}$

5.

终端条件（横截性条件）·状态部分：取决于终端状态 $x_{f}$ 是否自由，具体如下：

若 $x_{f i}$ 固定为 $x_{f i}^{*}$ ，则无需补充对应的终端条件。
若 $x_{f i}$ 自由，则终端状态 $x_{f i}^{*}$ 应当满足 $\begin{matrix} (13) & p_{i}^{*} (t_{f}^{*}) = \frac{\partial Φ}{\partial x_{i}} (t_{f}^{*}, x_{f}^{*}) \end{matrix}$ $x_{f i}$ 完全自由意味着 $Φ$ 不显含 $x_{f i}$ ，因此上式化简为 $p_{i}^{*} (t_{f}^{*}) = 0$ 。
若 $x_{f i}$ 半自由，满足不等式约束 $x_{f i} \geq c$ ，则需补充关于 $x_{f i}^{*}$ 的互补松弛条件 $\begin{matrix} (14) & p_{i}^{*} (t_{f}^{*}) \geq \frac{\partial Φ}{\partial x_{i}} (t_{f}^{*}, x_{f}^{*}), [p_{i}^{*} (t_{f}^{*}) - \frac{\partial Φ}{\partial x_{i}} (t_{f}^{*}, x_{f}^{*})] (x_{f i} - c) = 0 \end{matrix}$

证明考虑引入系统状态方程和伴随变量的增广泛函： $\begin{matrix} (15) & J_{a} [x, u, p, t_{f}, x_{f}] = Φ (t_{f}, x_{f}) + \int_{t_{0}}^{t_{f}} [L (t, x, u) + p (t) \cdot (f (t, x, u) - \dot{x} (t))] d t \end{matrix}$ 则应当有 $\begin{matrix} (16) & δ J_{a} [x^{*}, u^{*}, p^{*}, t_{f}, x_{f}; δ x, δ u, δ p, δ t_{f}, δ x_{f}] \leq 0, \forall p, \forall δ x, \forall δ u, \forall δ p, \forall δ t_{f}, \forall δ x_{f} \end{matrix}$ 计算 $J_{a}$ 的变分可得 $\begin{matrix} (17) & \begin{aligned} δ J_{a} & = \frac{\partial Φ}{\partial x} (t_{f}, x_{f}) δ x_{f} + [\frac{\partial Φ}{\partial t} (t_{f}, x_{f}) + L (t_{f}, x, u) + p (t_{f})^{T} (f (t_{f}, x, u) - \dot{x} (t_{f}))] δ t_{f} \\ + \int_{t_{0}}^{t_{f}} [\frac{\partial L}{\partial x} δ x + \frac{\partial L}{\partial u} δ u + p^{T} (\frac{\partial f}{\partial x} δ x + \frac{\partial f}{\partial u} δ u - δ \dot{x}) + δ p^{T} (f - \dot{x})] d t \end{aligned} \end{matrix}$ 其中 $x$ 的变分 $δ x$ 满足初始条件 $δ x (t_{0}) = δ x_{0} = 0$ 。将Hamilton函数的表达式代入上式可得 $\begin{matrix} (18) & \begin{aligned} δ J_{a} & = \frac{\partial Φ}{\partial x} (t_{f}, x_{f}) δ x_{f} + [\frac{\partial Φ}{\partial t} (t_{f}, x_{f}) + H (t_{f}, x, u, p)] δ t_{f} - [p (t_{f})^{T} \dot{x} (t_{f}) δ t_{f} + \int_{t_{0}}^{t_{f}} p^{T} δ \dot{x} d t] \\ + \int_{t_{0}}^{t_{f}} [\frac{\partial H}{\partial x} δ x + (\frac{\partial H}{\partial p} - {\dot{x}}^{T}) δ p + \frac{\partial H}{\partial u} δ u] d t \end{aligned} \end{matrix}$ 利用分部积分法消去 $δ \dot{x}$ ，结合全变分公式可得 $\begin{matrix} (19) & \begin{aligned} p (t_{f})^{T} \dot{x} (t_{f}) δ t_{f} + \int_{t_{0}}^{t_{f}} p^{T} δ \dot{x} d t = p (t_{f})^{T} \dot{x} (t_{f}) δ t_{f} + {p^{T} δ x |}_{t = t_{0}}^{t_{f}} - \int_{t_{0}}^{t_{f}} {\dot{p}}^{T} δ x d t \\ = p (t_{f})^{T} [\dot{x} (t_{f}) δ t_{f} + δ x (t_{f})] - \int_{t_{0}}^{t_{f}} {\dot{p}}^{T} δ x d t = p (t_{f})^{T} δ x_{f} - \int_{t_{0}}^{t_{f}} {\dot{p}}^{T} δ x d t \end{aligned} \end{matrix}$ 将上式代入 $δ J_{a}$ 的表达式中可得 $\begin{matrix} (20) & \begin{aligned} δ J_{a} & = \underset{终端条件·状态}{\underset{⏟}{[\frac{\partial Φ}{\partial x} (t_{f}, x_{f}) - p (t_{f})^{T}]}} δ x_{f} + \underset{终端条件·时间}{\underset{⏟}{[\frac{\partial Φ}{\partial t} (t_{f}, x_{f}) + H (t_{f}, x, u, p)]}} δ t_{f} \\ + \int_{t_{0}}^{t_{f}} [\underset{伴随方程}{\underset{⏟}{(\frac{\partial H}{\partial x} + {\dot{p}}^{T})}} δ x + \underset{状态方程}{\underset{⏟}{(\frac{\partial H}{\partial p} - {\dot{x}}^{T})}} δ p + \underset{驻点条件}{\underset{⏟}{\frac{\partial H}{\partial u}}} δ u] d t \leq 0 \end{aligned} \end{matrix}$

(1) 下面讨论状态条件和伴随条件。 $\forall p : R \to R^{n}$ ，取足够小的 $ε > 0$ ，令 $\begin{matrix} (21) & δ x = ε {(\frac{\partial H}{\partial x} + {\dot{p}}^{T})}^{T}, δ p = ε {(\frac{\partial H}{\partial p} - {\dot{x}}^{T})}^{T}, δ u = 0, δ x_{f} = 0, δ t_{f} = 0 \end{matrix}$ 代入 $J_{a}$ 的表达式中可得 $\begin{matrix} (22) & δ J_{a} = ε \int_{t_{0}}^{t_{f}} {‖ \frac{\partial H}{\partial x} + {\dot{p}}^{T} ‖}^{2} d t + ε \int_{t_{0}}^{t_{f}} {‖ \frac{\partial H}{\partial p} - {\dot{x}}^{T} ‖}^{2} d t \leq 0 \end{matrix}$ 由此得到状态条件和伴随条件的表达式均为零。

(2) 下面讨论驻点条件（最大值条件）。若 $u^{*}$ 为 $U$ 的内点（意味着 $δ u$ 可取任意值）且 $H$ 关于 $u$ 可微，同理可取 $δ u$ 为足够小的正数 $ε$ 乘驻点条件的表达式、取其余变分为 $0$ ，可得驻点条件的表达式为零。

若 $u^{*}$ 为 $U$ 的边界点，则增广泛函可改写为 $\begin{matrix} (23) & J_{a} = Φ (t_{f}, x_{f}) - \int_{t_{0}}^{t_{f}} p (t)^{T} \dot{x} (t) d t + \int_{t_{0}}^{t_{f}} H (t, x, u, p) d t \end{matrix}$ $\forall u \in U^{T}$ 、 $\forall τ \in T$ ，取足够小的 $δ > 0$ ，令 $\begin{matrix} (24) & \tilde{u} (t) = {\begin{cases} u^{*} (t), & t \in T ∖ [τ - δ, τ + δ] \\ u (t), & t \in T \cap [τ - δ, τ + δ] \end{cases} \end{matrix}$ 代入 $x = x^{*}$ 、 $p = p^{*}$ 、分别代入 $\tilde{u}, u^{*}$ 到 $J_{a}$ 的表达式中，由于 $(x^{*} (t), u^{*} (t))$ 为 $J_{a}$ 的最优解，故有 $\begin{matrix} (25) & J_{a} [\tilde{u}] - J_{a} [u^{*}] = \int_{τ - δ}^{τ + δ} [H (t, x^{*}, u, p^{*}) - H (t, x^{*}, u^{*}, p^{*})] d t \leq 0 \end{matrix}$ 由积分中值定理可得 $\exists \tilde{τ} \in [τ - δ, τ + δ]$ 使得 $\begin{matrix} (26) & H (\tilde{τ}, x^{*}, u, p^{*}) - H (\tilde{τ}, x^{*}, u^{*}, p^{*}) \leq 0 \end{matrix}$ 令 $δ \to 0^{+}$ 可得 $\begin{matrix} (27) & H (τ, x^{*}, u, p^{*}) \leq H (τ, x^{*}, u^{*}, p^{*}) \leq 0, \forall u \in U, \forall τ \in T \end{matrix}$ 因此 $u^{*}$ 为 $H (t, x^{*}, u, p^{*})$ 在 $U$ 上的最大值点，称为最大值条件。显然，若 $U$ 为开集且 $H$ 关于 $u$ 可微，则最大值条件可推出驻点条件。

(3) 下面讨论终端条件的时间部分。

若 $t_{f}$ 固定，则 $δ t_{f} = 0$ ，对应的终端条件无需补充。
若 $t_{f}$ 自由，则 $δ t_{f}$ 可取正负，类似可取特定的 $δ t_{f}$ 得到终端条件·时间的表达式均为零，即 $\begin{matrix} (28) & \frac{\partial Φ}{\partial t} (t_{f}^{*}, x_{f}^{*}) + H (t_{f}^{*}, x^{*}, u^{*}, p^{*}) = 0 \end{matrix}$
若 $t_{f}$ 满足不等式约束 $t_{f} \leq t_{m}$ ，分两种情况讨论：
- 不起作用约束：若 $t_{f}^{*} < t_{m}$ ，则 $δ t_{f}$ 可取正负，此时的终端条件与自由终端时间相同。
- 起作用约束：若 $t_{f}^{*} = t_{m}$ ，则 $δ t_{f} \leq 0$ ，故有 $\frac{\partial Φ}{\partial t} (t_{f}^{*}, x_{f}^{*}) + H (t_{f}^{*}, x^{*}, u^{*}, p^{*}) \geq 0$ 。
综上所述，需补充关于 $t_{f}^{*}$ 的不等式约束的互补松弛条件： $\begin{matrix} (29) & \frac{\partial Φ}{\partial t} (t_{f}^{*}, x_{f}^{*}) + H (t_{f}^{*}, x^{*}, u^{*}, p^{*}) \geq 0, [\frac{\partial Φ}{\partial t} (t_{f}^{*}, x_{f}^{*}) + H (t_{f}^{*}, x^{*}, u^{*}, p^{*})] (t_{m} - t_{f}^{*}) = 0 \end{matrix}$

(4) 下面讨论终端条件的状态部分。

若 $x_{f i}$ 固定，则 $δ x_{f i} = 0$ ，对应的终端条件无需补充。
若 $x_{f i}$ 自由，则 $δ x_{f i}$ 可取正负，类似可取特定的 $δ x_{f i}$ 得到终端条件·状态的表达式均为零，即 $\begin{matrix} (30) & p_{i}^{*} (t_{f}^{*}) = \frac{\partial Φ}{\partial x_{i}} (t_{f}^{*}, x_{f}^{*}) \end{matrix}$
若 $x_{f i}$ 满足不等式约束 $x_{f i} \geq c$ ，令 $δ x_{f i}$ 以外的所有变分均为 $0$ ，则有 $\begin{matrix} (31) & δ J_{a} = - [p_{i}^{*} (t_{f}^{*}) - \frac{\partial Φ}{\partial x_{i}} (t_{f}^{*}, x_{f}^{*})] δ x_{f i} \leq 0 \end{matrix}$ 分两种情况讨论：
- 不起作用约束：若 $x_{f i}^{*} > c$ ，则 $δ x_{f i}$ 可取正负，故 $p_{i}^{*} (t_{f}^{*}) = \frac{\partial Φ}{\partial x_{i}} (t_{f}^{*}, x_{f}^{*})$ 。
- 起作用约束：若 $x_{f i}^{*} = c$ ，则 $δ x_{f i} \geq 0$ ，故 $p_{i}^{*} (t_{f}^{*}) \geq \frac{\partial Φ}{\partial x_{i}} (t_{f}^{*}, x_{f}^{*})$ 。
综上所述，需补充不等式约束的互补松弛条件： $\begin{matrix} (32) & p_{i}^{*} (t_{f}^{*}) \geq \frac{\partial Φ}{\partial x_{i}} (t_{f}^{*}, x_{f}^{*}), [p_{i}^{*} (t_{f}^{*}) - \frac{\partial Φ}{\partial x_{i}} (t_{f}^{*}, x_{f}^{*})] (x_{f i}^{*} - c) = 0 \end{matrix}$

◻

注

(1): 最大值条件仅在 $U$ 为开集时才能转换为驻点条件。若 $U$ 不为开集，则最大值可能在 $U$ 的边界处取得，此时需要利用最大值条件的原始定义。
(2): 在实际问题中，动态系统的目标泛函通常以下面的形式出现： $\begin{matrix} (33) & J [x, u, t_{f}] = Φ (t_{f}, x_{f}) + \int_{t_{0}}^{t_{f}} e^{- r t} ℓ (t, x, u) d t \end{matrix}$ 其中 $r > 0$ 为折现率，此时Hamilton函数可写为 $\begin{matrix} (34) & \begin{aligned} H (t, x, u, p) & = e^{- r t} ℓ (t, x, u) + p (t) \cdot f (t, x, u) = e^{- r t} [ℓ (t, x, u) + λ (t) \cdot f (t, x, u)] \\ =: e^{- r t} H_{c} (t, x, u, λ), λ (t) := e^{r t} p (t) \end{aligned} \end{matrix}$ 其中 $λ, H_{c}$ 称为无折现（当前）伴随变量（影子价格）、Hamilton函数，此时伴随方程为 $\begin{matrix} (35) & e^{- r t} [\dot{λ} (t) - r λ (t)] = {\dot{p}}^{T} (t) = - \frac{\partial H}{\partial x} (t, x^{*}, u^{*}, p^{*}) = - e^{- r t} \frac{\partial H_{c}}{\partial x} (t, x^{*}, u^{*}, λ^{*}) \end{matrix}$ 故关于 $λ$ 的伴随方程可表示为 $\begin{matrix} (36) & \dot{λ} (t)^{T} - r λ (t)^{T} = - \frac{\partial H_{c}}{\partial x} (t, x^{*}, u^{*}, λ^{*}) \end{matrix}$

5.6.3 Mangasarian充分条件

若Hamilton函数 $H$ 关于 $(x, u)$ 严格凹，则驻点条件也是充分条件，即驻点即为最大值点。

定理 5.6.6 (一阶充分条件·Mangasarian条件) 设 $(x^{*}, u^{*}, p^{*}, t_{f}^{*}, x_{f}^{*})$ 满足Pontryagin极大值原理中的状态方程、伴随方程、驻点条件和终端条件， $t_{f}$ 的可行区间为 $T_{f} ∋ t_{f}^{*}$ ，且动态系统满足：

$\forall t \in [t_{0}, sup T_{f}]$ ，Hamilton函数 $H (t, x, u, p^{*})$ 关于联合变量 $(x, u)$ 凹。
终端状态 $x_{f}$ 固定为 $x_{f}^{*}$ ，或 $\forall t \in T_{f}$ ，终端成本函数 $Φ (t, x)$ 关于 $x$ 凹。
终端时间 $t_{f}$ 固定为 $t_{f}^{*}$ ，或 $\frac{\partial Φ}{\partial t} (t, x_{f}^{*}) + H (t, x^{*}, u^{*}, p^{*})$ 关于 $t \in T_{f}$ 单调不增。

则 $(x^{*}, u^{*}, t_{f}^{*}, x_{f}^{*})$ 为动态系统的最优解。

证明 (1) 首先固定 $x_{f}, t_{f}$ ，增广泛函可改写为 $\begin{matrix} (37) & \begin{aligned} J_{a} & = Φ (t_{f}, x_{f}) + \int_{t_{0}}^{t_{f}} [H (t, x, u, p^{*}) - p^{*} (t)^{T} \dot{x} (t)] d t \\ = Φ (t_{f}, x_{f}) - p^{*} (t_{f})^{T} x_{f} + \int_{t_{0}}^{t_{f}} [H (t, x, u, p^{*}) + {\dot{p}}^{*} (t)^{T} x (t)] d t \end{aligned} \end{matrix}$ 代入伴随方程可得 $\begin{matrix} (38) & J_{a} = Φ (t_{f}, x_{f}) - p^{*} (t_{f})^{T} x_{f} + \int_{t_{0}}^{t_{f}} [H (t, x, u, p^{*}) - \frac{\partial H}{\partial x} (t, x^{*}, u^{*}, p^{*}) x (t)] d t \end{matrix}$ 由于 $H$ 关于 $(x, u)$ 凹，故成立 $\begin{matrix} (39) & H (t, x, u, p^{*}) \leq H (t, x^{*}, u^{*}, p^{*}) + \frac{\partial H}{\partial x} (t, x^{*}, u^{*}, p^{*}) (x (t) - x^{*} (t)) + λ^{*} \cdot (u (t) - u^{*} (t)) \end{matrix}$ 其中 $λ^{*}$ 为 $H$ 在 $(x^{*}, u^{*})$ 处关于 $u$ 的某个次梯度。由次梯度的定义和最大值条件可得 $\begin{matrix} (40) & \forall u \in U^{T} : {\begin{cases} H (t, x^{*}, u, p^{*}) \leq H (t, x^{*}, u^{*}, p^{*}) \\ H (t, x^{*}, u, p^{*}) \leq H (t, x^{*}, u^{*}, p^{*}) + λ^{*} \cdot (u (t) - u^{*} (t)) \end{cases} ⟸ λ^{*} = 0 \end{matrix}$ 故可选择 $λ^{*} = 0$ ，此时 $\begin{matrix} (41) & H (t, x, u, p^{*}) - \frac{\partial H}{\partial x} (t, x, u, p^{*}) x (t) \leq H (t, x^{*}, u^{*}, p^{*}) - \frac{\partial H}{\partial x} (t, x^{*}, u^{*}, p^{*}) x^{*} (t) \end{matrix}$ 代入泛函表达式中可得 $J_{a} \leq J_{a}^{*}$ ，其中 $J_{a}^{*}$ 为 $(x^{*}, u^{*})$ 处的目标泛函值，故 $(x^{*}, u^{*})$ 为动态系统的最优解。

(2) 若 $x_{f}$ 自由，则成立终端条件 $\begin{matrix} (42) & p^{*} (t_{f}) = \frac{\partial Φ}{\partial x} (t_{f}, x_{f}^{*}) \end{matrix}$ 由于 $Φ$ 关于 $x$ 凹，故成立 $\begin{matrix} (43) & Φ (t_{f}, x_{f}) \leq Φ (t_{f}, x_{f}^{*}) + \frac{\partial Φ}{\partial x} (t_{f}, x_{f}^{*}) (x_{f} - x_{f}^{*}) = Φ (t_{f}, x_{f}^{*}) + p^{*} (t_{f})^{T} (x_{f} - x_{f}^{*}) \end{matrix}$ 亦即 $\begin{matrix} (44) & Φ (t_{f}, x_{f}) - p^{*} (t_{f})^{T} x_{f} \leq Φ (t_{f}, x_{f}^{*}) - p^{*} (t_{f})^{T} x_{f}^{*} \end{matrix}$ 与(1)中的不等式一起代入泛函表达式中可得 $J_{a} \leq J_{a}^{*}$ 。

(3) 若 $t_{f}$ 自由，则成立终端条件 $\begin{matrix} (45) & \frac{\partial Φ}{\partial t} (t_{f}^{*}, x_{f}^{*}) + H (t_{f}^{*}, x^{*}, u^{*}, p^{*}) = 0 \end{matrix}$ 令 $J_{a}$ 在 $(x, u, x_{f}) = (x^{*}, u^{*}, x_{f}^{*})$ 处对 $t_{f}$ 求导可得 $\begin{matrix} (46) & \frac{d J_{a}}{d t_{f}} = \frac{\partial Φ}{\partial t} (t_{f}, x_{f}) + H (t_{f}, x^{*}, u^{*}, p^{*}) \end{matrix}$ 由于 $\frac{d J_{a}}{d t_{f}}$ 关于 $t_{f}$ 单调不增，故 $\frac{d J_{a}}{d t_{f}}$ 在 $[t_{0}, t_{f}^{*}]$ 上非负、在 $[t_{f}^{*}, sup T_{f}]$ 上非正，因此 $J_{a}$ 在 $t_{f}^{*}$ 处取得最大值，亦即 $J_{a} \leq J_{a}^{*}$ 。 $◻$

5.6.4 包络定理

我们首先给出价值函数的定义。

定义 5.6.7 (价值函数) 动态系统的价值函数定义为： $\begin{matrix} (47) & V [t_{0}, x_{0}, t_{f}, x_{f}] := max_{u \in U^{T}} J [x, u, t_{f}, x_{f}], s.t. \dot{x} (t) = f (t, x, u), x (t_{0}) = x_{0}, t \in T \end{matrix}$ 即动态系统在给定初始时间 $t_{0}$ 、初始状态 $x_{0}$ 、终端时间 $t_{f}$ 和终端状态 $x_{f}$ 下的最优目标泛函值。

注只有终端时间 $t_{f}$ 和终端状态 $x_{f}$ 固定时，价值函数才与其相关，否则价值函数不依赖于其对应的变量。

将 $t_{0}, x_{0}, t_{f}, x_{f}$ 视作动态系统的参数，则动态系统的包络定理为：

定理 5.6.8 (包络定理) 设 $(x^{*}, u^{*}, p^{*})$ 为动态系统的最优解及其对应的伴随变量，则价值函数对初始时间 $t_{0}$ 、初始状态 $x_{0}$ 的偏导数分别为 $\begin{matrix} (48) & \frac{\partial V}{\partial t_{0}} = - H (t_{0}, x^{*}, u^{*}, p^{*}), \frac{\partial V}{\partial x_{0}} = p^{*} (t_{0})^{T} \end{matrix}$ 如果终端时间 $t_{f}$ 和终端状态 $x_{f}$ 固定，则价值函数对终端时间 $t_{f}$ 、终端状态 $x_{f}$ 的偏导数分别为 $\begin{matrix} (49) & \frac{\partial V}{\partial t_{f}} = \frac{\partial Φ}{\partial t} (t_{f}, x_{f}) + H (t_{f}, x^{*}, u^{*}, p^{*}), \frac{\partial V}{\partial x_{f}} = \frac{\partial Φ}{\partial x} (t_{f}, x_{f}) - p^{*} (t_{f})^{T} \end{matrix}$

证明由价值函数的定义可得 $\begin{matrix} (50) & \begin{aligned} V & = J_{a} [x^{*}, u^{*}, t_{f}, x_{f}] = Φ (t_{f}, x_{f}) + \int_{t_{0}}^{t_{f}} [L (t, x^{*}, u^{*}) + p^{*} (t)^{T} (f (t, x^{*}, u^{*}) - {\dot{x}}^{*} (t))] d t \\ = Φ (t_{f}, x_{f}) + \int_{t_{0}}^{t_{f}} [H (t, x^{*}, u^{*}, p^{*}) - p^{*} (t)^{T} {\dot{x}}^{*} (t)] d t \end{aligned} \end{matrix}$ 令上式分别对 $x_{0}, t_{0}, x_{f}, t_{f}$ 求变分可得 $\begin{matrix} (51) & \begin{aligned} δ V & = [\frac{\partial Φ}{\partial t} (t_{f}, x_{f}) + H (t_{f}, x^{*}, u^{*}, p^{*}) - p^{*} (t_{f})^{T} {\dot{x}}^{*} (t_{f})] δ t_{f} + \frac{\partial Φ}{\partial x} (t_{f}, x_{f}) δ x_{f} \\ - [H (t_{0}, x^{*}, u^{*}, p^{*}) - p^{*} (t_{0})^{T} {\dot{x}}^{*} (t_{0})] δ t_{0} \\ + \int_{t_{0}}^{t_{f}} [\frac{\partial H}{\partial x} δ x^{*} + \frac{\partial H}{\partial u} δ u^{*} + (f - {\dot{x}}^{*})^{T} δ p^{*} - p^{* T} δ {\dot{x}}^{*}] d t \end{aligned} \end{matrix}$ 注意到 $\begin{matrix} (52) & \int_{t_{0}}^{t_{f}} [\frac{\partial H}{\partial x} δ x^{*} - p^{* T} δ {\dot{x}}^{*}] d t = - \int_{t_{0}}^{t_{f}} [{\dot{p}}^{* T} δ x^{*} + p^{* T} δ {\dot{x}}^{*}] d t = - {[p^{* T} δ x^{*}]}_{t = t_{0}}^{t_{f}} \end{matrix}$ 将状态方程、伴随方程、驻点条件、上式代入 $δ V$ 的表达式中可得 $\begin{matrix} (53) & \begin{aligned} δ V & = [\frac{\partial Φ}{\partial t} (t_{f}, x_{f}) + H (t_{f}, x^{*}, u^{*}, p^{*}) - p^{*} (t_{f})^{T} {\dot{x}}^{*} (t_{f})] δ t_{f} + \frac{\partial Φ}{\partial x} (t_{f}, x_{f}) δ x_{f} \\ - [H (t_{0}, x^{*}, u^{*}, p^{*}) - p^{*} (t_{0})^{T} {\dot{x}}^{*} (t_{0})] δ t_{0} - p^{*} (t_{f})^{T} δ x^{*} (t_{f}) + p^{*} (t_{0})^{T} δ x^{*} (t_{0}) \end{aligned} \end{matrix}$ 在端点 $t_{0}, t_{f}$ 处，利用全变分公式可得 $\begin{matrix} (54) & δ x^{*} (t_{f}) = δ x_{f} - {\dot{x}}^{*} (t_{f}) δ t_{f}, δ x^{*} (t_{0}) = δ x_{0} - {\dot{x}}^{*} (t_{0}) δ t_{0} \end{matrix}$ 代入 $δ V$ 的表达式中可得 $\begin{matrix} (55) & \begin{aligned} δ V & = [\frac{\partial Φ}{\partial t} (t_{f}, x_{f}) + H (t_{f}, x^{*}, u^{*}, p^{*})] δ t_{f} + [\frac{\partial Φ}{\partial x} (t_{f}, x_{f}) - p^{*} (t_{f})^{T}] δ x_{f} \\ - H (t_{0}, x^{*}, u^{*}, p^{*}) δ t_{0} + p^{*} (t_{0})^{T} δ x_{0} \end{aligned} \end{matrix}$ 由此可得价值函数对初始状态、初始时间、终端状态、终端时间的偏导数表达式。 $◻$

5.6.5 无界最优控制问题

最后我们讨论无界区间上的动态系统最优控制问题（简称无界最优控制问题）。

定义 5.6.9 (无界区间上的动态系统最优控制问题) 设动态系统由 $(T, Ω, U, f, x_{0})$ 组成，目标泛函为 $\begin{matrix} (56) & J [x, u] := Φ (x (+ \infty)) + \int_{t_{0}}^{+ \infty} L (t, x, u) d t \end{matrix}$ 其中 $x, u$ 应使得上式收敛。无界区间上的动态系统最优控制问题定义如下： $\begin{matrix} (57) & max_{u \in U^{T}} J [x, u], s.t. \dot{x} (t) = f (t, x, u), x (t_{0}) = x_{0}, t \in T \end{matrix}$

注与有界区间相比，我们还需要关注广义积分的收敛性，在实际应用中通常以两种形式呈现：

支集有界的运行成本：存在常数 $t^{'} > 0$ ，使得 $\forall t > t^{'}$ ， $L (t, x, u) = 0$ ，此时广义积分可化为有限区间上的定积分，自然收敛。
折现形式的运行成本： $L (t, x, u) := e^{- r t} ℓ (t, x, u)$ ，其中 $r > 0$ 为折现率，只需 $ℓ$ 关于 $t$ 的增长速度不超过 $e^{r t}$ （如 $ℓ$ 有界）即可保证广义积分收敛。

为了求解无界最优控制问题，我们可以将其视作固定 $t_{f}$ 而 $t_{f} \to + \infty$ 的极限，计算增广泛函的变分可得 $\begin{matrix} (58) & \begin{aligned} δ J_{a} & = lim_{t_{f} \to + \infty} {[\frac{\partial Φ}{\partial x} (x (t_{f})) - p (t_{f})^{T}] δ x (t_{f}) \\ + \int_{t_{0}}^{t_{f}} [(\frac{\partial H}{\partial x} + {\dot{p}}^{T}) δ x + (\frac{\partial H}{\partial p} - {\dot{x}}^{T}) δ p + \frac{\partial H}{\partial u} δ u] d t} \leq 0 \end{aligned} \end{matrix}$ 由此可得：

定理 5.6.10 (无界最优控制问题的Pontryagin极大值原理) 无界最优控制问题的状态方程、伴随方程和驻点条件与有界最优控制问题相同，而终端条件为 $\begin{matrix} (59) & \underset{t \to + \infty}{lim sup} [\frac{\partial Φ}{\partial x} (x^{*} (t)) - p^{*} (t)^{T}] δ x (t) \leq 0 \end{matrix}$ 对所有可行的 $δ x$ 成立。

注无界最优控制问题的终端条件不能简单地视作有界最优控制问题在 $t_{f} \to + \infty$ 的极限，亦即 $\begin{matrix} (60) & p^{*} (+ \infty) = \frac{\partial Φ}{\partial x} (x^{*} (+ \infty)) \end{matrix}$ 并不总是成立⁸。同样地， $lim_{t \to + \infty} p^{*} (t)^{T} x^{*} (t) = 0$ 也并不总是成立。读者在应用时请务必小心。

对于无界最优控制问题的一阶充分条件，Mangasarian条件也需要作相应调整：

定理 5.6.11 (无界最优控制问题的一阶充分条件) 设 $(x^{*}, u^{*}, p^{*})$ 满足无界最优控制问题的Pontryagin极大值原理中的状态方程、伴随方程和驻点条件，且动态系统满足：

(a): $\forall t \in T$ ，Hamilton函数 $H (t, x, u, p^{*})$ 关于联合变量 $(x, u)$ 凹。
(b): 对所有可行的 $x$ ，成立 $\begin{matrix} (61) & \underset{t \to + \infty}{lim sup} [Φ (x (t)) - Φ (x^{*} (t)) - p^{*} (t)^{T} (x (t) - x^{*} (t))] \leq 0 \end{matrix}$

则 $(x^{*}, u^{*})$ 为动态系统的最优解。

证明与Mangasarian条件的证明类似，只需利用 $\begin{matrix} (62) & \begin{aligned} J_{a} & = lim_{t_{f} \to + \infty} Φ (x (t_{f})) + \int_{t_{0}}^{+ \infty} [H (t, x, u, p^{*}) - p^{*} (t)^{T} \dot{x} (t)] d t \\ = lim_{t \to + \infty} [Φ (x (t)) - p^{*} (t)^{T} x (t)] + \int_{t_{0}}^{+ \infty} [H (t, x, u, p^{*}) - \frac{\partial H}{\partial x} (t, x^{*}, u^{*}, p^{*}) x (t)] d t \end{aligned} \end{matrix}$ 用(b)去控制第一项，用(a)去控制第二项，即可得到 $J_{a} \leq J_{a}^{*}$ 。 $◻$

然而，上述条件(b)通常难以验证，因为需要检查所有可行的 $x$ 。若动态系统满足一定条件，则可以得到更易验证的充分条件：

定理 5.6.12 (无界最优控制问题的一阶充分条件·续) 若动态系统的所有可行状态 $x$ 均满足 $\underset{t \to + \infty}{lim inf} x (t) \geq c$ （表示逐元素大于等于），且

(a): $\forall x \in Ω$ ， $Φ (x) \leq \underset{t \to + \infty}{lim inf} Φ (x^{*} (t))$ 。
(b): $p^{*}$ 有界，且 $\exists t^{'} \in T$ 使得 $\forall t \geq t^{'}$ ， $p^{*} (t) \geq 0$ 。
(c): $\underset{t \to + \infty}{lim inf} p^{*} (t)^{T} (c - x^{*} (t)) \geq 0$ 。

则对所有可行的 $x$ ，成立 $\begin{matrix} (63) & \underset{t \to + \infty}{lim sup} [Φ (x (t)) - Φ (x^{*} (t)) - p^{*} (t)^{T} (x (t) - x^{*} (t))] \leq 0 \end{matrix}$

证明只需利用 $\begin{matrix} (64) & \begin{aligned} \underset{t \to + \infty}{lim sup} [Φ (x (t)) - Φ (x^{*} (t)) - p^{*} (t)^{T} (x (t) - x^{*} (t))] \\ \leq \underset{with (a), \leq 0}{\underset{⏟}{\underset{t \to + \infty}{lim sup} [Φ (x (t)) - Φ (x^{*} (t))]}} - \underset{with (b), \geq 0}{\underset{⏟}{\underset{t \to + \infty}{lim inf} p^{*} (t)^{T} (x (t) - c)}} - \underset{with (c), \geq 0}{\underset{⏟}{\underset{t \to + \infty}{lim inf} p^{*} (t)^{T} (c - x^{*} (t))}} \leq 0 \end{aligned} \end{matrix}$ 上式中第二个大括号 $\geq 0$ 需要用到 $p^{*}$ 有界的条件，否则不能保证函数乘积的下极限仍然非负。 $◻$

5.6.6 最优控制的应用

我们来看几个例题。

例 5.6.13 已知某动态系统的最优控制问题： $\begin{matrix} (65) & max_{u \in R^{T}} \int_{0}^{20} e^{- 0.25 t} (4 x - u^{2}) d t s.t. \dot{x} = - 0.25 x + u, x (0) = x_{0}, t \in T = [0, 20] \end{matrix}$ 其中终端状态 $x (20)$ 自由。

(1): 写出Hamilton函数、状态方程、伴随方程、驻点条件和终端条件。
(2): 求出最优状态变量 $x^{*} (t)$ 、最优控制变量 $u^{*} (t)$ 。
(3): 对 $(x, λ)$ 满足的微分方程组作相分析。

解 (1) 设无折现Hamilton函数为 $\begin{matrix} (66) & H_{c} (t, x, u, λ) = 4 x - u^{2} + λ (- 0.25 x + u) \end{matrix}$ 则状态方程、伴随方程、驻点条件分别为 $\begin{matrix} (67) & {\begin{cases} \dot{x} = - 0.25 x + u, x (0) = x_{0} \\ \dot{λ} - 0.25 λ = - (4 - 0.25 λ) \\ - 2 u + λ = 0 \end{cases} ⟹ {\begin{cases} \dot{x} = - 0.25 x + 0.5 λ, x (0) = x_{0} \\ \dot{λ} = 0.5 λ - 4 \end{cases} \end{matrix}$ 终端条件为 $\begin{matrix} (68) & λ (20) = 0 \end{matrix}$

(2) 由伴随方程和终端条件可以解出 $λ^{*}$ 为 $\begin{matrix} (69) & λ^{*} (t) = 8 - 8 e^{0.5 (t - 20)} \end{matrix}$ 代入状态方程中可解得 $\begin{matrix} (70) & x^{*} (t) = (x_{0} - 16 + \frac{16}{3} e^{- 10}) e^{- 0.25 t} + 16 - \frac{16}{3} e^{0.5 (t - 20)} \end{matrix}$

(3) 为了求出稳态解 $(x_{s}, λ_{s})$ ，计算可得 $\begin{matrix} (71) & {\begin{cases} 0 = - 0.25 x_{s} + \frac{1}{2} λ_{s} \\ 0 = 0.5 λ_{s} - 4 \end{cases} ⟹ {\begin{cases} x_{s} = 16 \\ λ_{s} = 8 \end{cases} \end{matrix}$ 微分方程组的系数矩阵为 $\begin{matrix} (72) & A = [\begin{matrix} - 0.25 & 0.5 \\ 0 & 0.5 \end{matrix}] \end{matrix}$ 由于 $tr A = 0.25 > 0$ ，故该系统不稳定。 $◻$

例 5.6.14 已知某动态系统的无界最优控制问题： $\begin{matrix} (73) & max_{u \in R^{T}} \int_{0}^{+ \infty} e^{- r t} (u - u^{2} - x^{2}) d t, s.t. \dot{x} = u - δ x, x (0) = x_{0}, t \in T = [0, + \infty) \end{matrix}$ 其中 $r, δ > 0$ 。

(1): 写出Hamilton函数、状态方程、伴随方程和驻点条件。
(2): 求出稳态解 $(x_{s}, λ_{s})$ 。
(3): 对 $(x, λ)$ 满足的微分方程组作相分析。

解 (1) 设无折现Hamilton函数为 $\begin{matrix} (74) & H_{c} (t, x, u, λ) = u - u^{2} - x^{2} + λ (u - δ x) \end{matrix}$ 则状态方程、伴随方程、驻点条件分别为 $\begin{matrix} (75) & {\begin{cases} \dot{x} = u - δ x, x (0) = x_{0} \\ \dot{λ} - r λ = - (- 2 x - δ λ) \\ 1 - 2 u + λ = 0 \end{cases} ⟹ {\begin{cases} \dot{x} = - δ x + \frac{1}{2} λ + \frac{1}{2}, x (0) = x_{0} \\ \dot{λ} = 2 x + (r + δ) λ \end{cases} \end{matrix}$

(2) 为了求出稳态解 $(x_{s}, λ_{s})$ ，计算可得 $\begin{matrix} (76) & {\begin{cases} 0 = - δ x_{s} + \frac{1}{2} λ_{s} + \frac{1}{2} \\ 0 = 2 x_{s} + (r + δ) λ_{s} \end{cases} ⟹ {\begin{cases} x_{s} = \frac{r + δ}{2 (1 + δ r + δ^{2})} \\ λ_{s} = - \frac{1}{1 + δ r + δ^{2}} \end{cases} \end{matrix}$

(3) 微分方程组的系数矩阵为 $\begin{matrix} (77) & A = [\begin{matrix} - δ & \frac{1}{2} \\ 2 & r + δ \end{matrix}] \end{matrix}$ 由于 $det A = - δ^{2} - δ r - 1 < 0$ ，故该系统的稳态解为鞍点。 $◻$

例 5.6.15 求解动态系统的最优控制问题： $\begin{matrix} (78) & max_{u \in [0, 2]^{T}} \int_{0}^{2} (2 x - 3 u) d t s.t. \dot{x} = x + u, x (0) = 4, t \in T = [0, 2] \end{matrix}$ 其中终端状态 $x (2)$ 自由。

解设Hamilton函数为 $\begin{matrix} (79) & H (t, x, u, p) = 2 x - 3 u + p (x + u) \end{matrix}$ 则状态方程、伴随方程、驻点条件分别为 $\begin{matrix} (80) & {\begin{cases} \dot{x} = x + u, x (0) = 4 \\ \dot{p} = - (2 + p) \\ - 3 + p = 0 \end{cases} ⟹ {\begin{cases} \dot{x} = x + u, x (0) = 4 \\ \dot{p} = - p - 2 \end{cases} \end{matrix}$ 终端条件为 $\begin{matrix} (81) & p (2) = 0 \end{matrix}$ 由伴随方程和终端条件可解得 $\begin{matrix} (82) & p^{*} (t) = 2 e^{2 - t} - 2 \end{matrix}$ 然而这里需要注意：由于 $U = [0, 2]$ 为闭集，且 $H$ 关于 $u$ 为线性函数，故最大值在边界处取得，驻点条件无法使用。为此，我们需要直接利用最大值条件：

当 $\frac{\partial H}{\partial u} = - 3 + p < 0$ 时，最大值在 $u = 0$ 处取得，此时 $2 - \ln \frac{5}{2} < t \leq 2$ 。
当 $\frac{\partial H}{\partial u} = - 3 + p > 0$ 时，最大值在 $u = 2$ 处取得，此时 $0 \leq t < 2 - \ln \frac{5}{2}$ 。
当 $\frac{\partial H}{\partial u} = - 3 + p = 0$ 时，最大值在 $u \in [0, 2]$ 上均可取得，此时 $t = 2 - \ln \frac{5}{2}$ 。

综上所述，记 $t_{0} = 2 - \ln \frac{5}{2}$ ，最优控制变量为 $\begin{matrix} (83) & u^{*} (t) = {\begin{cases} 2, & 0 \leq t < t_{0} \\ 任意, & t = t_{0} \\ 0, & t_{0} \leq t \end{cases} \end{matrix}$ 当 $t < t_{0}$ 时，解得 $\begin{matrix} (84) & \dot{x} = x + 2, x (0) = 4 ⟹ x^{*} (t) = 6 e^{t} - 2 ⟹ x^{*} (t_{0}) = \frac{12}{5} e^{2} - 2 \end{matrix}$ 当 $t > t_{0}$ 时，解得 $\begin{matrix} (85) & \dot{x} = x, x (t_{0}) = \frac{12}{5} e^{2} - 2 ⟹ x^{*} (t) = (\frac{12}{5} e^{2} - 2) e^{t - t_{0}} = (6 - 5 e^{- 2}) e^{t} \end{matrix}$ 综上所述，最优状态变量为 $\begin{matrix} (86) & x^{*} (t) = {\begin{cases} 6 e^{t} - 2, & 0 \leq t < t_{0} \\ (6 - 5 e^{- 2}) e^{t}, & t_{0} \leq t \leq 2 \end{cases} \end{matrix}$ $◻$

例 5.6.16 求解动态系统的最优控制问题： $\begin{matrix} (87) & max_{u \in [0, 1]^{T}} \int_{0}^{T} (1 - u) x^{2} d t s.t. \dot{x} = u x, x (0) = 1, t \in T = [0, T], T > \frac{1}{2} \end{matrix}$ 其中终端状态 $x (T)$ 自由。

解设Hamilton函数为 $\begin{matrix} (88) & H (t, x, u, p) = (1 - u) x^{2} + p u x \end{matrix}$ 则状态方程、伴随方程、驻点条件分别为 $\begin{matrix} (89) & {\begin{cases} \dot{x} = u x, x (0) = 1 \\ \dot{p} = - [2 (1 - u) x + p u] \\ - x^{2} + p x = 0 \end{cases} \end{matrix}$ 终端条件为 $\begin{matrix} (90) & p (T) = 0 \end{matrix}$ 然而这里需要注意：由于 $U = [0, 1]$ 为闭集，且 $H$ 关于 $u$ 为线性函数，故最大值在边界处取得，驻点条件无法使用。为此，我们需要直接利用最大值条件：

当 $\frac{\partial H}{\partial u} = - x^{2} + p x < 0$ 时，最大值在 $u = 0$ 处取得，此时 $p^{*} (t) < x^{*} (t)$ 。
当 $\frac{\partial H}{\partial u} = - x^{2} + p x > 0$ 时，最大值在 $u = 1$ 处取得，此时 $p^{*} (t) > x^{*} (t)$ 。
当 $\frac{\partial H}{\partial u} = - x^{2} + p x = 0$ 时，最大值在 $u \in [0, 1]$ 上均可取得，此时 $p^{*} (t) = x^{*} (t)$ 。

由于初始条件 $x^{*} (0) = 1 > 0$ 、终端条件 $p^{*} (T) = 0$ ，结合微分方程可知 $p_{0} := p^{*} (0) \geq 0$ 、 $x^{*} (t), p^{*} (t)$ 均非负，且 $x^{*}$ 单调不减、 $p^{*}$ 单调不增。故存在 $t_{0} \in (0, T)$ 使得 $p^{*} (t_{0}) = x^{*} (t_{0})$ ，因此 $\begin{matrix} (91) & {\begin{cases} p^{*} (t) > x^{*} (t), u^{*} (t) = 1, & 0 \leq t < t_{0} \\ p^{*} (t) = x^{*} (t), u^{*} (t) \in [0, 1], & t = t_{0} \\ p^{*} (t) < x^{*} (t), u^{*} (t) = 0, & t_{0} < t \leq T \end{cases} \end{matrix}$ 故以 $t = t_{0}$ 为界，状态方程和伴随方程可分段表示为 $\begin{matrix} (92) & t < t_{0} : {\begin{cases} {\dot{x}}^{*} = x^{*}, x^{*} (0) = 1 \\ {\dot{p}}^{*} = - p^{*}, p^{*} (0) = p_{0} \end{cases} t > t_{0} : {\begin{cases} {\dot{x}}^{*} = 0 \\ {\dot{p}}^{*} = - 2 x^{*} \end{cases} \end{matrix}$ 当 $t < t_{0}$ 时，解得 $\begin{matrix} (93) & x^{*} (t) = e^{t}, p^{*} (t) = p_{0} e^{- t} \end{matrix}$ 令 $x^{*} (t_{0}) = p^{*} (t_{0})$ 可得 $\begin{matrix} (94) & t_{0} = \frac{1}{2} \ln p_{0} ⟹ x^{*} (t_{0}) = p^{*} (t_{0}) = \sqrt{p_{0}} \end{matrix}$ 当 $t > t_{0}$ 时，解得 $\begin{matrix} (95) & x^{*} (t) = \sqrt{p_{0}}, p^{*} (t) = \sqrt{p_{0}} + 2 \sqrt{p_{0}} (t_{0} - t) \end{matrix}$ 代入终端条件可得 $\begin{matrix} (96) & p^{*} (T) = \sqrt{p_{0}} + 2 \sqrt{p_{0}} (t_{0} - T) = 0 ⟹ t_{0} = T - \frac{1}{2} ⟹ p_{0} = e^{2 T - 1} \end{matrix}$ 综上所述，最优状态变量为 $\begin{matrix} (97) & x^{*} (t) = {\begin{cases} e^{t}, & 0 \leq t < T - \frac{1}{2} \\ e^{T - \frac{1}{2}}, & T - \frac{1}{2} \leq t \leq T \end{cases} \end{matrix}$ $◻$

⁷请读者注意：下文中的 $x$ 既可能表示 $Ω$ 中的向量，也可能表示 $T \to Ω$ 的函数，但通常不易混淆。

⁸Halkin, H. (1974). Necessary conditions for optimal control problems with infinite horizons. Econometrica, 42.