24-核心概念-凸函数

知识点：凸函数

知识点概述

凸函数是指定义域为凸集，且函数曲线上任意两点之间的弦都在曲线（或其上方）的函数。凸函数是凸优化的核心，保证了局部最优解就是全局最优解。

教材原文

定义2.16 (凸函数) 设函数 $f$ 为适当函数，如果 $\mathbf{dom}f$ 是凸集，且

f (\theta x + (1 - \theta) y) \leqslant \theta f (x) + (1 - \theta) f (y) \

对所有 $x, y \in \mathbf{dom} f, 0 \leqslant \theta \leqslant 1$ 都成立，则称 $f$ 是凸函数。

详细解释

• 定义: 函数 $f$ 是凸的，如果其定义域是凸集，且对于定义域中任意两点 $x,y$，它们之间的函数值 $f(\theta x+(1-\theta )y)$ 不会超过它们函数值的线性插值 $\theta f(x)+(1-\theta )f(y)$。
• 几何意义: 函数图像是“碗形”的，下方图是凸集。
• 严格凸函数: 当不等式对不同的两点和 $\theta \in (0,1)$ 严格成立时，函数是严格凸的。严格凸函数如果存在最优解，则最优解是唯一的。
• 凹函数: 如果 $-f$ 是凸函数，则 $f$ 是凹函数。

学习要点

• 牢记凸函数的Jensen不等式定义。
• 理解凸函数的几何直观（弦在图上方）。
• 能够识别常见的凸函数，如仿射函数、指数函数、范数。
• 区分凸函数和严格凸函数。

实践应用

• 损失函数: 机器学习中许多损失函数（如平方损失、Hinge损失、交叉熵损失）都是凸函数，这保证了模型训练可以找到全局最优解。
• 正则项: ${\ell }_1$范数和$el{l}_2$范数正则项都是凸函数。

关联知识点

• 前置知识: 21-核心概念-凸集, 19-核心概念-广义实值函数
• 后续知识: 25-核心概念-强凸函数, 26-理论方法-凸函数判定定理, 10-核心概念-凸和非凸优化
• 相关知识: 无