23-理论方法-分离超平面定理

知识点：分离超平面定理

知识点概述

分离超平面定理是凸集理论的基石，它表明两个不相交的凸集可以被一个超平面分到两侧。这个定理是构建对偶理论和最优性条件的基础。

教材原文

定理2.5(分离超平面定理…)如果 $C$ 和 $D$ 是不相交的两个凸集，则存在非零向量 $a$ 和常数 $b$ ，使得

$$a^{\mathrm{T}}x⩽b,\forall x\in C,\text{且}{a}^{\mathrm{T}}x⩾b,\forall x\in D,$$

即超平面 $\{x|a^{\mathrm{T}}x=b\}$ 分离了 $C$ 和 $D$

详细解释

• 基本思想: 任何两个互不包含的凸集，总能找到一个“隔板”（超平面）将它们分开。
• 分离定理: 如果 $C,D$ 是两个不相交的凸集，那么存在一个超平面将它们分离。
• 严格分离: 如果要保证严格分离（即 $a^{T}x<b$ 和 $a^{T}x>b$），需要更强的条件，例如其中一个集合是闭集，另一个是紧集（有界闭集）。
• 支撑超平面定理: 凸集 $C$ 的任何一个边界点，都存在一个穿过该点且将整个集合 $C$ 包含在它一侧的超平面（支撑超平面）。这可以看作是分离超平面定理的一个推论（分离凸集 $C$ 和其边界上的一个点）。

学习要点

• 理解分离超平面定理的几何意义。
• 区分“分离”和“严格分离”的条件。
• 掌握支撑超平面的概念。
• 认识到该定理在推导最优性条件和对偶理论中的根本性作用。

实践应用

• 支持向量机 (SVM): SVM的核心思想就是找到一个能将两类数据点最大间隔地分离开的超平面。
• 对偶理论: Farkas引理等替换定理是分离超平面定理的直接应用，它们是构建拉格朗日对偶的基础。

关联知识点

• 前置知识: 21-核心概念-凸集
• 后续知识: 53-理论方法-对偶理论, 55-理论方法-带约束凸优化问题最优性条件, 32-应用案例-支持向量机
• 相关知识: 无