知识点：分块坐标下降法

知识点概述

分块坐标下降法（Block Coordinate Descent, BCD）是一类将高维优化问题分解为一系列低维子问题的算法。它在每一步迭代中，只固定其他变量，优化其中一个（或一“块”）变量。当子问题更容易求解时，这种方法非常有效。

算法: 对于问题 $min_{x_{1}, \dots, x_{N}} F (x_{1}, \dots, x_{N})$ ：
1. 选择初始点 $x^{0}$ 。
2. 循环迭代：
  - $x_{1}^{k + 1} = ar g min_{x_{1}} F (x_{1}, x_{2}^{k}, \dots, x_{N}^{k})$
  - $x_{2}^{k + 1} = ar g min_{x_{2}} F (x_{1}^{k + 1}, x_{2}, \dots, x_{N}^{k})$
  - …
  - $x_{N}^{k + 1} = ar g min_{x_{N}} F (x_{1}^{k + 1}, \dots, x_{N - 1}^{k + 1}, x_{N})$
变体:
- 坐标下降法 (CD): 每次只优化一个标量变量。
- 随机坐标下降: 每次随机选择一个（或一块）坐标进行更新，而不是按固定顺序。
收敛性:
- 对于光滑函数，通常能收敛到稳定点。
- 对于凸函数，如果目标函数满足特定条件（如在每个块上是强凸的），可以保证收敛到全局最优解。
- 对于非光滑函数，收敛性分析更为复杂，但对于许多特定结构（如LASSO），可以证明其收敛性。