16-核心概念-梯度与海瑟矩阵

知识点：梯度与海瑟矩阵

知识点概述

梯度和海瑟矩阵是多元函数微积分的核心概念，分别表示函数的一阶和二阶导数。梯度指明了函数增长最快的方向，而海瑟矩阵描述了函数的局部曲率。

教材原文

定义2.2（梯度）给定函数 $f:{\mathbb{R}}^n\to \mathbb{R}$ …若存在向量 $g\in {\mathbb{R}}^n$ 满足

$$\underset{p\to 0}{\lim }\frac{f(x+p)-f(x)-g^{\mathrm{T}}p}{\Vert p\Vert }=0,$$

…此时 $g$ 称为 $f$ 在点 $x$ 处的梯度，记作 $\nabla f(x)$ 。 定义2.3(海瑟矩阵）如果函数 $f(x):{\mathbb{R}}^n\to \mathbb{R}$ 在点 $x$ 处的二阶偏导数…都存在，则

$${\nabla }^{2}f(x)=\left[\begin{array}{ccc}\frac{{\partial }^{2}f(x)}{\partial x_1^2}& \dots & \frac{{\partial }^{2}f(x)}{\partial x_1\partial x_n}\\ ⋮& & ⋮\\ \frac{{\partial }^{2}f(x)}{\partial x_n\partial x_1}& \dots & \frac{{\partial }^{2}f(x)}{\partial x_n^2}\end{array}\right]$$

称为 $f$ 在点 $x$ 处的海瑟矩阵.

详细解释

• 梯度 (Gradient):
  • 定义: 梯度 $\nabla f(x)$ 是一个向量，其每个分量是函数 $f$ 对相应变量的偏导数。
  • 几何意义: 梯度向量指向函数值上升最快的方向，其负方向 $-\nabla f(x)$ 是函数值下降最快的方向。梯度的大小（范数）表示函数在该方向上的变化率。
• 海瑟矩阵 (Hessian Matrix):
  • 定义: 海瑟矩阵 ${\nabla }^{2}f(x)$ 是一个方阵，由函数 $f$ 的所有二阶偏导数组成。对于二阶连续可微的函数，海瑟矩阵是对称的。
  • 几何意义: 海瑟矩阵描述了函数在某点附近的局部曲率。通过分析海瑟矩阵的正定性，可以判断该点的性质（如局部极小、极大或鞍点）。

学习要点

• 掌握梯度和海瑟矩阵的计算方法。
• 理解梯度的几何意义（最速上升方向）。
• 理解海瑟矩阵与函数局部曲率的关系。
• 知道对于向量值函数，其一阶导数由雅可比矩阵表示。

实践应用

• 梯度下降法: 几乎所有现代优化算法的基础，通过沿负梯度方向迭代来寻找函数最小值。
• 牛顿法: 利用海瑟矩阵（二阶信息）来构造二次近似模型，从而实现更快的收敛。
• 最优性条件: 在无约束优化中，局部最优点的梯度必须为零；海瑟矩阵的正定性可用于进一步判别。

关联知识点

• 前置知识: 14-核心概念-向量范数
• 后续知识: 17-核心概念-矩阵变量函数的导数, 51-理论方法-无约束可微问题最优性条件, 57-理论方法-梯度下降法, 60-理论方法-牛顿法
• 相关知识: 无