25-核心概念-强凸函数

知识点：强凸函数

知识点概述

强凸函数是一类比普通凸函数性质更好的函数，它要求函数至少像一个二次函数一样“凸”。这个性质保证了函数存在唯一的最小值点，并且许多优化算法在其上具有更快的（线性）收敛速度。

教材原文

定义2.17 (强凸函数) 若存在常数 $m>0$ ，使得

$$g(x)=f(x)-\frac{m}{2}\Vert x{\Vert }^2$$

为凸函数, 则称 $f(x)$ 为强凸函数, 其中 $m$ 为强凸参数.

详细解释

• 定义: 一个函数 $f$ 是 $m$-强凸的，如果 $f(x)-\frac{m}{2}\Vert x{\Vert }^2$ 是一个凸函数。这意味着 $f(x)$ 比一个二次函数 $\frac{m}{2}\Vert x{\Vert }^2$ 更“陡峭”。
• 等价条件:
  • $f(\theta x+(1-\theta )y)\le \theta f(x)+(1-\theta )f(y)-\frac{m}{2}\theta (1-\theta )\Vert x-y{\Vert }^2$
  • 对于可微函数: $(\nabla f(x)-\nabla f(y){)}^T(x-y)\ge m\Vert x-y{\Vert }^2$
  • 对于二阶可微函数: 其海瑟矩阵的最小特征值不小于 $m$（${\nabla }^{2}f(x)⪰mI$）。
• 性质:
  • 强凸函数一定是严格凸函数。
  • 如果强凸函数存在最小值点，则该点是唯一的。

学习要点

• 理解强凸是比严格凸更强的条件。
• 掌握强凸函数的定义及其等价的一阶和二阶条件。
• 知道强凸性对于保证优化算法的快速收敛至关重要。

实践应用

• 岭回归: 目标函数 $\Vert Ax-b{\Vert }^2+\lambda \Vert x{\Vert }^2$ 是强凸的（只要 $A^{T}A$ 可逆或 $\lambda >0$），因此有唯一解且算法收敛快。
• 算法分析: 在证明梯度下降等算法的线性收敛速度时，目标函数的强凸性是关键假设。

关联知识点

• 前置知识: 24-核心概念-凸函数
• 后续知识: 26-理论方法-凸函数判定定理, 13-核心概念-算法收敛速度
• 相关知识: 无