知识点：非线性最小二乘算法

知识点概述

非线性最小二乘问题旨在最小化一个非线性残差向量的 $e l l_{2}$ 范数平方和，即 $mi n_{x} f r a c 12 ∣ r (x) ∣_{2}^{2}$ 。这类问题具有特殊的结构，可以利用专门的算法（如高斯-牛顿法和LM法）比通用非线性优化算法更高效地求解。

问题结构: 目标函数 $f (x) = f r a c 12 \sum_{i} r_{i} (x)^{2}$ 。其梯度为 $nab l a f (x) = J (x)^{T} r (x)$ ，海瑟矩阵为 $nab l a^{2} f (x) = J (x)^{T} J (x) + s u m_{i} r_{i} (x) nab l a^{2} r_{i} (x)$ ，其中 $J (x)$ 是残差函数 $r (x)$ 的雅可比矩阵。
高斯-牛顿法 (Gauss-Newton Method):
- 思想: 在牛顿法的基础上，忽略海瑟矩阵中计算复杂的二阶项 $s u m_{i} r_{i} (x) nab l a^{2} r_{i} (x)$ ，直接用 $J (x)^{T} J (x)$ 来近似整个海瑟矩阵。这个近似矩阵是半正定的，计算成本更低。
- 优点: 当残差 $r_{i} (x)$ 较小（小残差问题）或接近线性时，该近似很有效，算法收敛快。
- 缺点: 当 $J (x)$ 秩亏时，近似的海瑟矩阵是奇异的。当残差很大时，近似很差，算法可能不收敛。
Levenberg-Marquardt (LM) 法:
- 思想: LM法可以看作是高斯-牛顿法和梯度下降法的一种混合，它在高斯-牛顿法的近似海瑟矩阵上增加一个阻尼项： $(J (x)^{T} J (x) + l amb d a I) d = - J (x)^{T} r (x)$ 。
- 当 $l amb d a$ 很小时，算法接近高斯-牛顿法；当 $l amb d a$ 很大时，算法接近梯度下降法。这使得LM法既有牛顿法的快速收敛性，又有梯度法的全局收敛保证，非常鲁棒。它也是一种信赖域方法。