27-核心概念-共轭函数

知识点：共轭函数

知识点概述

共轭函数是凸分析中的一个核心概念，它通过一种对偶变换将一个函数映射为另一个函数。共轭函数在拉格朗日对偶理论中扮演着中心角色。

教材原文

定义2.19 (共轭函数) 给定函数 $f:{\mathbb{R}}^n\to \mathbb{R}$ ，其共轭函数 $f^{\ast }:{\mathbb{R}}^n\to \mathbb{R}$ 定义为

$$f^{\ast }(y)=\underset{x\in \mathbf{dom}f}{\sup }\left(y^{\mathrm{T}}x-f(x)\right).$$

详细解释

• 定义: 函数 $f$ 的共轭函数 $f^{\ast }(y)$ 是 $y^{T}x-f(x)$ 关于 $x$ 的上确界。
• 几何意义: $f^{\ast }(y)$ 是斜率为 $y$ 的直线与函数 $f(x)$ 图像之间的最大纵向截距。
• 性质:
  • 共轭函数 $f^{\ast }$ 永远是凸函数，无论原函数 $f$ 是否为凸。
  • Fenchel-Young不等式: $f(x)+f^{\ast }(y)\ge x^{T}y$。
  • 二次共轭: 如果 $f$ 是一个闭的正常凸函数，那么 $f^{\ast \ast }=f$，即对 $f$ 进行两次共轭变换会得到原函数。

学习要点

• 记住共轭函数的定义。
• 理解共轭函数的几何意义（最大截距）。
• 知道共轭函数一定是凸函数。
• 了解二次共轭定理 ($f^{\ast \ast }=f$)。

实践应用

• 拉格朗日对偶: 约束优化问题的拉格朗日对偶函数可以非常简洁地用原问题目标函数和约束函数的共轭函数来表示。
• 算法设计: 一些优化算法（如对偶上升法、ADMM）的推导和解释依赖于共轭函数的概念。

关联知识点

• 前置知识: 24-核心概念-凸函数, 19-核心概念-广义实值函数
• 后续知识: 53-理论方法-对偶理论, 71-理论方法-对偶算法
• 相关知识: 20-核心概念-闭函数与下半连续函数