14-核心概念-向量范数

知识点：向量范数

知识点概述

向量范数是衡量向量“长度”或“大小”的一种方式。它在最优化中用于定义距离、分析收敛性以及作为正则项。

教材原文

定义2.1(范数）称一个从向量空间 ${\mathbb{R}}^n$ 到实数域 $\mathbb{R}$ 的非负函数 $\Vert \cdot \Vert$ 为范数，如果它满足： (1) 正定性：… $\Vert v\Vert =0$ 当且仅当 $v=0$ ； (2) 齐次性：… $\Vert \alpha v\Vert =|\alpha |\Vert v\Vert$ ； (3) 三角不等式：… $\Vert v+w\Vert ⩽\Vert v\Vert +\Vert w\Vert$ . 最常用的向量范数为 ${\ell }_p$ 范数 $(p⩾1)$

$${\Vert v\Vert }_p={\left({\left|v_1\right|}^p+{\left|v_2\right|}^p+\cdots +{\left|v_n\right|}^p\right)}^{\frac{1}{p}};$$

详细解释

• 范数的三个性质:
  1. 正定性: 只有零向量的范数为0，其他都为正。
  2. 齐次性: 向量缩放，范数也按比例缩放。
  3. 三角不等式: “两边之和大于第三边”，是范数最重要的性质。
• 常用范数:
  • $el{l}_2$范数 (欧几里得范数): $\Vert x{\Vert }_2=\sqrt{{\sum }_i{x}_i^2}$。表示向量在欧式空间中的长度，应用最广。
  • $el{l}_1$范数 (曼哈顿范数): $\Vert x{\Vert }_1={\sum }_i|x_i|$。表示各分量绝对值之和。常用于稀疏优化（LASSO）。
  • $el{l}_{\infty }$范数 (最大范数): $\Vert x{\Vert }_{\infty }=\surd {\surd }_i|x_i|$。表示各分量绝对值的最大值。

学习要点

• 记住范数的三个定义性质。
• 熟练掌握$$\begin{gathered} el{l}_1, \\ el{l}_2, \\ el{l}_{\infty } \end{gathered}$$范数的计算公式。
• 理解不同范数在几何上对应的“单位球”形状不同，这导致了它们在优化中的不同应用（如$el{l}_1$诱导稀疏性）。

实践应用

• $el{l}_2$范数: 在正则化（岭回归）中用于惩罚过大的参数值，防止过拟合。
• $el{l}_1$范数: 在正则化（LASSO）中用于产生稀疏解，实现特征选择。
• 距离度量: 各种算法中用于衡量点与点之间的距离或误差的大小。

关联知识点

• 前置知识: 无
• 后续知识: 15-核心概念-矩阵范数, 3-应用案例-稀疏优化
• 相关知识: 无