67-理论方法-近似点梯度法

知识点：近似点梯度法

知识点概述

近似点梯度法（Proximal Gradient Method）是求解复合优化问题 $\min f(x)+g(x)$ 的一类核心算法，其中 $f$ 光滑，$g$ 非光滑但“简单”。它将梯度下降的显式步骤和针对非光滑项的隐式步骤相结合，也称为前向-后向切分算法（Forward-Backward Splitting）。

详细解释

• 动机: 对于复合优化问题，由于 $g(x)$ 的存在，无法直接使用梯度下降。
• 核心思想:
  1. 对光滑部分 $f(x)$ 进行梯度下降（前向步骤）。
  2. 对非光滑部分 $g(x)$ 应用邻近算子（后向步骤）。
• 邻近算子 (Proximal Operator): 函数 $g$ 的邻近算子定义为： ${\text{prox}}_{\gamma g}(v)=\arg {\min }_x\left(g(x)+\frac{1}{2\gamma }\Vert x-v{\Vert }^2\right)$ 它求解一个在 $v$ 点附近的 $g(x)$ 的正则化版本。对于许多重要的非光滑函数（如 ${\ell }_1$ 范数、指示函数），其邻近算子有解析解或可以高效计算。例如，${\ell }_1$ 范数的邻近算子是软阈值算子。
• 算法:
  1. 选择初始点 $x_0$。
  2. 迭代更新: $x_{k+1}={\text{prox}}_{{\alpha }_{k}g}(x_k-{\alpha }_k\nabla f(x_k))$。 这个更新可以解释为：先沿着 $f$ 的负梯度方向走一步（梯度下降），然后用 $g$ 的邻近算子将结果“拉回”到更优的位置。

学习要点

• 掌握复合优化的“光滑+简单非光滑”结构。
• 理解邻近算子的定义及其作用。
• 掌握近似点梯度法的迭代公式，并理解其“梯度步+邻近步”的含义。

实践应用

• LASSO: ISTA (Iterative Shrinkage-Thresholding Algorithm) 就是用于求解LASSO问题的近似点梯度法。
• 图像处理: 求解带TV正则项或其他稀疏正则项的图像恢复问题。

关联知识点

• 前置知识: 44-核心概念-复合优化问题, 57-理论方法-梯度下降法, 59-理论方法-次梯度算法
• 后续知识: 68-理论方法-Nesterov加速算法, 69-理论方法-近似点算法
• 相关知识: 无