知识点：最小二乘问题

知识点概述

最小二乘问题（Least Squares）旨在寻找一个解，使得模型预测值与观测数据之间的误差平方和最小。它是回归分析、参数估计和数据拟合中最基本和最常用的优化模型。

线性最小二乘:
- 模型: $min_{x} ∥ A x - b ∥_{2}^{2}$ 。
- 性质: 这是一个无约束的凸二次优化问题。目标函数的梯度为 $\nabla f (x) = 2 A^{T} (A x - b)$ ，海瑟矩阵为 $2 A^{T} A$ 。
- 正规方程 (Normal Equations): 通过令梯度为零，可以得到最优解满足的线性方程组 $A^{T} A x = A^{T} b$ 。如果 $A^{T} A$ 可逆，则问题有唯一的解析解 $x = (A^{T} A)^{- 1} A^{T} b$ 。
非线性最小二乘:
- 模型: $min_{x} ∥ r (x) ∣_{2}^{2} = \sum_{i} r_{i} (x)^{2}$ ，其中残差函数 $r (x)$ 是关于 $x$ 的非线性函数。
- 求解: 这是一个非线性优化问题，通常使用专门的迭代算法求解，如高斯-牛顿法或Levenberg-Marquardt法。这些算法利用了问题的特殊结构（目标函数是平方和），比通用的牛顿法更高效。