知识点：罚函数法

知识点概述

罚函数法是将约束优化问题转化为一系列无约束优化问题的经典方法。其核心思想是在目标函数中加入一个“惩罚项”，当迭代点违反约束时，该项会变得非常大，从而“惩罚”这种行为，迫使算法的解趋向于可行域。

问题形式: $min f (x)$ s.t. $c_{i} (x) = 0$ 。
二次罚函数法:
- 模型: 将原问题转化为无约束问题 $min_{x} P (x; μ) = f (x) + \frac{μ}{2} \sum_{i} c_{i} (x)^{2}$ 。
- 算法:
  1. 选择一个递增的惩罚因子序列 $μ_{k} \to \infty$ 。
  2. 对于每一个 $μ_{k}$ ，求解无约束问题 $min_{x} P (x; μ_{k})$ ，得到解 $x_{k}$ 。
  3. $x_{k}$ 的序列极限就是原约束问题的解。
直观: 当惩罚因子 $μ$ 趋于无穷大时，为了最小化 $P (x; μ)$ ，约束违反项 $c_{i} (x)^{2}$ 必须趋于零，即解必须趋于满足约束。
缺点:
- 数值病态: 当 $μ$ 非常大时，罚函数的海瑟矩阵会变得非常病态（条件数很大），使得无约束子问题的求解变得非常困难。
- 非精确可行: 算法得到的解通常只是近似满足约束，而不是严格满足。