11-核心概念-全局和局部最优解

知识点：全局最优解与局部最优解

知识点概述

全局最优解是在整个可行域上的最优解，而局部最优解仅在其邻域内最优。在非凸优化中，算法通常只能保证找到局部最优解，这是与凸优化的核心区别之一。

教材原文

定义1.1 (最优解) 对于可行点 $\bar{x}$ (即 $\bar{x}\in \mathcal{X}$ ), 定义如下概念: (1) 如果 $f(\bar{x})⩽f(x),\forall x\in \mathcal{X}$ , 那么称 $\bar{x}$ 为问题 (1.1.1) 的全局极小解 (点)… (2) 如果存在 $\bar{x}$ 的一个 $\epsilon$ 邻域 $N_{\epsilon }(\bar{x})$ 使得 $f(\bar{x})⩽f(x),\forall x\in N_{\epsilon }(\bar{x})\cap \mathcal{X}$ , 那么称 $\bar{x}$ 为问题 (1.1.1) 的局部极小解（点）…

详细解释

• 全局最优解 (Global Optimum):
  • 定义: 在可行域 $\mathcal{X}$ 中，能使目标函数 $f(x)$ 取得最小（或最大）值的点。
  • 意义: 这是我们真正想要寻找的解。
• 局部最优解 (Local Optimum):
  • 定义: 在其某个邻域范围内，比所有其他可行点的函数值都更好（更小或更大）的点。
  • 意义: 许多优化算法（特别是针对非凸问题的）的收敛终点。一个非凸问题可能有很多局部最优解。
• 严格局部最优解: 在邻域内，该点的函数值严格优于所有其他点。

学习要点

• 清晰区分全局最优和局部最优的定义。
• 理解对于凸优化问题，任何局部最优解都是全局最优解。
• 认识到对于非凸问题，寻找全局最优解是困难的，算法通常会收敛到局部最优解。

实践应用

• 在凸优化问题（如线性回归）中，梯度下降法找到的解就是全局最优解。
• 在非凸优化问题（如神经网络训练）中，使用不同初始点进行多次训练，可能会得到不同的局部最优解，通常选择其中最好的一个。

关联知识点

• 前置知识: 1-核心概念-最优化问题的一般形式
• 后续知识: 10-核心概念-凸和非凸优化, 51-理论方法-无约束可微问题最优性条件
• 相关知识: 12-核心概念-迭代算法